基于深度学习与大语言模型融合的胃镜图像识别与辅助诊断系统和方法

本发明提供的一种基于深度学习与大语言模型融合的胃镜图像识别与辅助诊断系统和方法，所述系统包括：数据采集与处理模块，用于获取多种类别的胃镜图片并预处理；胃镜图片识别与分类模块，用于将预处理后的胃镜图片输入至GastroHAF模型训练，输出胃镜图片的识别和分类结果，其中GastroHAF模型包括弱监督解剖标志定位子模块，空间共现上下文推理子模块以及解剖图谱引导的层级分类子模块；辅助诊断模块，用于基于微调后的中文医疗大语言模型，输出胃部的诊断结果和检查建议。本发明提供的GastroHAF模型结合先验的解剖学知识，能够快速有效且准确的判断胃镜所处部位，并且结合大语言模型，能有效的辅助医生进行胃部检查。