基于信息量差异与数据增强的虚假信息检测方法和系统

本发明公开了一种基于信息量差异与数据增强的虚假信息检测方法和系统，包括：根据事件类型对数据进行分类，并在保持语义标签不变的前提下，通过文本拼接与图像线性插值实现数据增强，扩充训练样本；通过计算文本和图像的信息熵，并确定各模态的特征权重，在多模态特征融合时优先利用信息量较高的单模态特征；利用CLIP模型对文本、图像及其细粒度元素进行编码，并实现多模态特征的有效融合；通过建立记忆队列并采用困难样本挖掘策略强化模型对复杂样本的学习能力，经由分类器输出虚假信息与真实信息的预测结果。本发明方法在提高检测准确率、增强模型泛化能力以及适应多模态数据不均衡等方面具有明显优势，具有广泛的应用前景。