基于知识图谱的眼科超声报告生成方法及系统

本发明提供了一种基于知识图谱的眼科超声报告生成方法及系统，方法包括：S1：对样本的超声图像和诊断报告分别进行特征提取；S2：构建知识图谱，更新所述知识图谱的节点特征，将所述更新后的节点特征和图像特征融合，获取知识增强的图像特征；S3：基于记忆矩阵分别获取所述知识增强的图像特征、文本特征的跨模态对齐特征；S4：基于所述知识增强的图像特征的跨模态对齐特征、所述文本特征的跨模态对齐特征，通过编码器和解码器，输出超声报告文本；完成构建超声报告生成模型；S5：将超声图像输入所述模型，生成相应的超声报告。本发明解决了现有的医疗报告生成模型中缺乏考虑疾病关联性以及跨模态信息对齐的问题，有效提升了生成超声报告的质量。