引入专家知识的多模态大语言模型的伪造信息检测方法

本发明公开了引入专家知识的多模态大语言模型的伪造信息检测方法，包括有S1初步判断，利用多模态大语言模型判断输入的新闻图像和文本对是否匹配，以及分析图像和文本双模态的信息是否充足，并在信息不充足时，检索图像的文本证据；S2专家系统推理，多模态大语言模型根据给定的提示生成专家身份描述，并以专家身份描述为条件，生成假新闻检测依据；S3多模态特征交互融合学习与分类，对新闻的图像和文本分别进行特征提取和编码，并将图像编码特征、文本编码特征和假新闻检测依据互相交互学习，将交互特征拼接并输入到分类器中进行新闻类别分类，实现对虚假新闻伪造信息的准确检测。