基于多模态检索增强生成的慢性病诊断辅助方法及系统

本发明公开了一种基于多模态检索增强生成的慢性病诊断辅助方法及系统，属于辅助诊断技术领域。方法包括：S1：构建多模态索引数据知识库；S2：使用多模态索引数据知识库和LoRA方法对模型进行微调；S3：预判断是否需要进行外部知识检索，并进行模态选择；S4：进行外部知识调用，结合S3选择给定数据子集，返回目标多模态知识；S5：构建包含目标多模态知识和原始提问的最终提问，并输入到经过微调的模型，得到最终答案；S6：用户根据最终答案反馈用户评分，若用户评分大于预设评分，则将最终答案中的知识加入个人数据库。通过结合语言模态和图像模态的信息进行增强生成，能够利用更丰富的上下文信息，从而提高诊断的准确性和鲁棒性。