基于视觉语言特征对比的胸部DR影像报告生成方法

本发明公开了一种基于视觉语言特征对比的胸部DR影像报告生成方法，首先，获取含有病变及无病变实例的胸部DR影像及对应报告构成训练数据集的锚实例、正实例和负实例；然后，通过卷积神经网络提取每个实例影像的卷积序列特征，进而得到视觉编码特征；随后，将锚实例、正实例、负实例分别进行编码获取语言编码特征；进一步地，将含有病变实例与无病变实例的锚实例、正实例和负实例的视觉编码特征和语言编码特征进行对比来优化网络；最后，在测试阶段仅需将影像的视觉编码特征输入文本生成解码器就可生成报告。本发明可以有效地通过对比不同实例间的视觉特征和语言特征来增强模型对于病变的表征，从而提升病变实例报告生成的性能。