一种结合领域信息的多模态伪造信息检测方法

本发明公开了一种结合领域信息的多模态伪造信息检测方法，包括以下步骤：领域信息识别与描述，给大语言模型设计提示学习模板，大语言模型根据提示学习模板生成新闻的领域标签以及对新闻内容的解释；领域信息与多模态特征的交互学习，该步骤包括有特征编码,对原始的文本、领域信息和图像进行编码处理；文本‑领域和图像‑领域的交互特征学习，使用共同注意力机制，学习融入领域知识的文本特征及融入领域知识的图像特征；领域特征的重要性学习，把与领域信息有关的特征拼接一起，并把拼接后的特征输入领域门控神经网络中，计算领域信息的重要性以作为领域特征的权重；特征聚合与分类，把所有特征拼接起来，输入分类器中，完成分类预测。