一种融合情感特征的双模态伪造信息检测方法

本发明公开了一种融合情感特征的双模态伪造信息检测方法，包括有情感特征提取，通过大语言模型分别提取文本和图像的情感类别，并分别给出所属类别的情感强度，以及对情感评分；分析文本和图像混合模态特征的情感一致性；混合专家网络基于领域类处理特征，通过文本领域编码器、图像领域编码器、图像文本混合特征领域编码器分别计算文本模态、图像模态、混合模态所属领域概率；混合专家网络根据领域信息，学习文本模态、图像模态、混合模态的特征信息；AdaIN网络调整模态分布，AdaIN网络根据每种模态的贡献调整特征分布，将调整特征融合，并输入到分类器中，得到最终的分类结果，大大提高了信息检测准确性。