一种基于异构证据图的多模态对齐证据选择方法

本发明公开了一种基于异构证据图的多模态对齐证据选择方法，构建基于异构证据图的多模态对齐证据选择器模型，首先利用基于对齐的模态整合证据选择器，结合跨模态检索与对齐策略，联合建模表格行、表头、文本段落及句子，并与问题‑表头对齐任务及问题‑段落摘要任务进行联合训练，获得初筛证据，然后在基于异构图注意力网络的重排序模块，利用人事领域知识图谱以及证据的粗细粒度关系构建异构证据图，并基于异构图注意力网络进行证据排序，生成优化后的重排序证据。本发明的方法解决了异构人事数据在问答检索中的模态与粒度不对称、语义不一致、证据关系建模不足以及数据缺失等问题，为人事智能问答系统提供了一种高效、精准的证据选择方法。