基于多模态检索增强和指南引导的医疗诊断方法和系统

本发明涉及一种基于多模态检索增强和指南引导的医疗诊断方法和系统，方法包括：获取包括报告和/或电子健康记录的文本信息，以及医学影像信息；分别利用图像编码器、文本编码器对医学影像信息、文本信息进行编码，得到视觉特征、文本特征；分别利用指南分支解码器、标签分支解码器，将训练阶段中样本的诊断指南特征、疾病类型标签作为Transformer结构的查询，将文本特征和视觉特征拼接后的拼接特征作为键和值，解码得到疾病类型的第一预测概率分布、第二预测概率分布，得到最终的疾病预测结果。本发明基于多源医学知识库，动态检索疾病特异性知识，并通过大语言模型去除冗余与噪声，生成标准化、结构化诊断指南，实现知识的显式引导。