基于知识图谱和大型语言模型的医学视觉问答方法和装置

本申请涉及一种基于知识图谱和大型语言模型的医学视觉问答方法和装置。所述方法包括：首先，利用医学图像、知识图谱以及问题文本训练医学视觉问答分类模型；之后，将医学图像以及问题文本输入到医学视觉问答分类模型中，得到预测答案；将知识图谱和问题文本输入到知识图谱检索增强生成模块中，通过对知识图谱的检索，得到结构化提示词；将预测答案、结构化提示词以及包含角色定位和问答要求的基础提示，采用LLM进行整合，得到最终的医疗回答。本方法响应内容更丰富、更专业、更具诊断逻辑、且更符合真实临床需求的医学视觉问答系统。