一种基于语义一致性的多模态虚假信息检测方法

本发明涉及一种基于语义一致性的多模态虚假信息检测方法，旨在解决多模态虚假信息检测中模态间语义交互的问题。具体包括以下步骤：首先获取社交网络中新闻的多模态数据，并对文本和图像预处理。然后分别构建文本和图像的全局与局部特征提取器。通过提取的文本局部特征与图像局部特征进行局部语义一致性检测，将获取的全局特征进行全局语义一致性检测，并结合两者生成联合语义一致性结果，采用注意力机制文本和图像特征进行多模态融合，通过对文本特征和图像特征融合后的多模态特征与联合语义一致性结果综合分析从多维度对虚假信息判别并建立损失函数对模型进行优化，从而实现对虚假信息的检测。本发明能有效提高多模态虚假信息检测的准确率，提高自动化检测多模态虚假信息。