基于对比学习的多模态虚假新闻监测方法

本发明公开了基于对比学习的多模态虚假新闻监测方法，属于虚假短视频新闻检测技术领域。包括以下步骤：基于CLIP文本多视图对比学习的特征提取器，设计一个VisualTheme模块进行视觉和文本特征特征提取，实现了对于关键帧和帧主题两种特征的提取和融合；基于文本、视觉和音频预训练特征提取器对短视频新闻中的标题、连续帧、音乐提取特征，实现了对非关键帧的其他模态特征的提取；利用所提取的多种模态特征设计一个多模态融合和分类器，将多模态特征作为输入，生成分类结果。设计一个文本多视图对比学习机制模块用来优化参数。本发明通过文本多视图提升多文本特征的互信息和语义一致性，学习多种文本视图的泛化特征，促进文本特征和其他模态融合。