一种基于事实知识融合的多模态虚假新闻检测方法

本发明公开了一种基于事实知识融合的多模态虚假新闻检测方法，包括获取新闻数据，抽取出新闻的文本和图片，并进行真实性标注，构建数据集；基于文本，抽取知识图谱中的相关事实性信息作为外部知识；对文本、图片以及外部知识进行编码；对文本和实体组成的图结构中的边分配注意力权重，并根据图结构进行特征聚合；对特征聚合后的图特征进行关键节点筛选；对文本特征和知识特征进行融合；对文本特征和图片特征进行跨模态融合；通过融合知识的文本向量进行分类，然后通过图文融合特征进行分类，完成模型训练，最后通过训练好的模型进行虚假新闻检测。本发明使文本、图片和外部知识充分进行交互，提高了虚假新闻的辨识准确度。