基于多模态信息的高速公路养护知识问答方法及系统

本发明公开了一种基于多模态信息的高速公路养护知识问答方法及系统，属于知识问答技术领域。包括：获取用户提问数据并转换为多个模态特征向量；通过预设的多模态解耦网络对多个模态特征向量进行处理，获取互补性特征和一致性语义特征；基于互补性特征和一致性语义特征，以一致性语义特征为引导在预设的多模态知识库中进行各模态独立检索，利用不同模态知识间的关联程度进行跨模态关联检索，获取各模态候选知识；根据一致性语义特征，通过答案生成网络对各模态候选知识进行处理，获取多模态答案。能够提高高速公路养护知识回答的准确性和灵活性，解决了现有包含多模态高速养护知识的问答任务处理准确性不高的问题。