一种基于自注意力机制的多模态虚假新闻检测系统及方法

本发明公开了一种基于自注意力机制的多模态虚假新闻检测系统及方法，系统包括新闻数据收集模块、数据增强模块、多模态特征提取模块、自注意力融合模块以及虚假新闻检测模块；多模态特征提取模块包括文本多模态特征提取器、图像多模态特征提取器以及视频多模态特征提取器，分别用于提取新闻的文本、图像、视频的多模态特征；数据增强模块存储有智能数据增强算法，用于生成虚假新闻；自注意力融合模块用于融合提取到的多模态特征，包括两个多模态特征融合模块。本发明通过数据增强模块生成虚假新闻，解决了数据集不平衡的问题，同时自注意力机制的多模态融合神经网络进行特征融合，实现了对多模态新闻真实性的准确判别。