一种基于多模态眼科知识图谱的眼科辅诊报告生成方法

本发明提供了一种基于多模态眼科知识图谱的眼科辅诊报告生成方法，包括：获取多模态眼科知识图谱和检测对象的眼底图像；利用经训练的报告生成模型根据眼底图像生成对应的辅诊报告，包括：从检测对象的眼底图像中提取图像特征；生成知识增强后的增强视觉特征；利用图编码器对从多模态眼科知识图谱根据检测对象的眼底图像召回的关键实体节点提取关键知识特征；大语言模型，由提示模板引导大语言模型根据检测对象的眼底图像的图像特征、增强视觉特征和关键知识特征生成辅诊报告；利用眼底图像从多模态眼科知识图谱召回的关键实体节点提取的关键知识特征来帮助大语言模型生成辅诊报告，有助于提升模型生成辅诊报告的专业性、泛化能力与临床可用性。