一种基于知识图谱的医学视觉问答方法及系统

本发明提供了一种基于知识图谱的医学视觉问答方法及系统，涉及数据处理技术领域，方法包括：获取用户输入的问题信息；通过图像识别模型从图像信息中提取图像实体特征，通过自然语言识别模型提取从文本信息中提取文本实体特征和提问意图；将图像实体特征与预先构建的知识图谱中的医学实体进行匹配，得到第一匹配结果；将文本实体特征与预先构建的知识图谱中医学实体的扩展信息进行匹配，得到第二匹配结果；基于第一匹配结果和第二匹配结果确定与问题信息对应的医学实体；根据提问意图和确定的医学实体得到对应问题信息的医学回答。本发明能够增强对用户在不同场景下不同表达方式的识别，进而更准确地解析用户的问题信息，减少实体歧义的发生。