基于数据增强和全局信息融合的多模态谣言检测方法

本发明公开了基于数据增强和全局信息融合的多模态谣言检测方法，包括如下步骤：获取图文新闻数据中的文本嵌入矩阵和图像嵌入矩阵；获取文本嵌入和图像嵌入的频谱特征；对频谱特征进行压缩；对压缩后的频谱特征进行平均池化，并应用一维卷积获取文本和视觉谣言特征的表示；对文本和视觉谣言特征的表示进行逆离散傅里叶变换，得到文本和图像的空间域信息，对空间域信息进行加权求和，得到最终多模态表示，对最终多模态表示进行分类预测；本发明结合频谱压缩与EMA视觉增强策略，有效抑制跨模态频谱分布差异，在特征提取阶段，利用频域滤波器组进行频谱压缩，揭示了每个模态中的潜在特征模式，更有效地提升谣言检测的性能。