基于双向特征融合与混合决策机制的多模态虚假信息检测方法、装置、设备及存储介质

本发明提出了基于双向特征融合与混合决策机制的多模态虚假信息检测方法、装置、设备及存储介质。该方法首先对多模态数据进行精细化预处理，包括文本数据的去噪、去停用词和标准化，以及图像数据的分辨率过滤、去重和尺寸统一化处理。随后，利用参数冻结的RoBERTa模型从文本中提取词元级和句子级特征向量，同时采用VIT模型从图像中获取图像级和词元级特征表示。通过Relu激活函数和全连接层对特征进行降维映射，实现特征空间的统一表达。创新性地构建了双向特征融合网络，实现文本‑视觉特征的深度交互与融合，生成具有强表达能力的多模态特征。本发明充分利用了单模态信息的独特优势，通过深度特征融合挖掘了模态间的互补性，为多模态虚假信息检测提供了一种高效稳健的解决方案。