基于属性原型引导和迭代场景图生成的医学报告生成方法

本发明公开了基于属性原型引导和迭代场景图生成的医学报告生成方法。首先，选取构建数据集，并通过目标检测器得到多个待定的解剖区域。随后，应用哈达玛乘积对任意两个区域特征进行融合，采用余弦相似性选择匹配的原型作为最相似和最具代表性的属性，并选择大于预定义的相似性阈值的三元组作为用于场景图生成的辅助信息。场景图生成模块引入迭代生成场景图作为辅助任务，并输出最终的场景图特征。最后，将被选中的区域特征连同场景图特征输入到报告解码器中预测最终的医学报告。本发明可以有效地提高图像内语义关系的推理能力，充分挖掘了区域之间潜在的属性共性以进一步提高模型的可解释性，且适用于胸部X射线影像报告生成领域。