一种相似实例引导下融合异质图的医学影像报告生成方法

本发明提出一种相似实例引导下融合异质图的医学影像报告生成方法，主要由两部分构成：结合异质图的图像特征记忆模块和相似实例特征融合模块。结合异质图的图像特征记忆模块提取报告实体关系，构建报告对应异质图为桥梁，引导模型关注图像异常区域，增强异常视觉特征；相似实例特征融合模块检索相似实例，融合相似实例的异常视觉特征，增强异常区域特征表达的同时，获取更全面的异常信息。在IU X‑ray和MIMIC‑CXR这两个医学影像数据集上进行的实验评估显示，所提方法在BLEU系列评分指标上达到最优。同时，本发明在METEOR和ROUGE‑L指标上的表现同样卓越。实验结果表明，本发明在自然语言生成指标和生成报告的准确性、完整性方面优于现有主流方法，证明了方法的有效性。