基于多模型间交互反馈的诊疗方法及装置

本申请公开了一种基于多模型间交互反馈的诊疗方法及装置，该方法包括：将检查图像输入视觉大模型得到视觉特征向量，并将视觉特征向量转换为自然提示语言；将文字检查报告输入大语言模型得到语言特征向量；分别抽取自然提示语言与语言特征向量的语言信息得到自然语言信息与特征语言信息；对自然语言信息与特征语言信息对进行翻译对齐；获取视觉大模型与大语言模型的不确定性，并基于不确定性确定视觉大模型与大语言模型的交互程度；视觉大模型与大语言模型根据交互程度进行交互诊断得到诊断结果。解决了现有技术中医学图像分析方法对人工的依赖程度较高的问题，能够大幅度减少人工干预，实现高效地疾病诊断，提升患者就诊体验。