基于多粒度一致性的多模态虚假信息识别方法及系统

本发明涉及信息安全技术领域，特别涉及一种基于多粒度一致性的多模态虚假信息识别方法及系统，收集多模态信息数据形成信息数据集，样本包括虚假数据和非虚假数据，设置对应标签0和1；采用BERT模型作为文本编码器，生成文本特征表示，同时使用ViT模型作为图像编码器，生成图像的视觉特征表示；融合了三种层级的一致性度量，引入基于多头交叉注意力机制的token‑level细粒度一致性、基于图注意力网络的phase‑level中粒度一致性和基于CLIP模型的global‑level粗粒度一致性。本发明考虑了不同层级的文本和图像之间的语义匹配，全面揭示了多模态信息的内在联系，提高了对虚假信息的识别准确度和效率。