一种基于因果推断的多模态事实核查方法

本发明属于自然语言处理、多模态技术领域，公开了一种基于因果推断的多模态事实核查方法，包括：对待核查信息进行跨模态交叉证据检索，获取候选的交叉证据；对候选的交叉证据进行排序，获取跨模态交叉证据信息，包括图像证据和文本证据；建立因果图，并基于因果图构建视觉因果模型，将图像证据输入视觉因果模型中，识别图像证据中的对象级因果特征和非因果特征，并将非因果特征进行去除，获取图像因果对象特征；在因果图的约束下，将图像因果对象特征、待核查信息和文本证据输入反事实推理模型，获取模型预测结果。本发明能够解决复杂的多模态信息验证问题，为用户提供高质量、准确的答案，满足多种行业的现有和潜在需求。