一种病灶感知与领域知识协同的胸部放射报告生成方法

本发明涉及一种病灶感知与领域知识协同的胸部放射报告生成方法，属于自然语言处理，计算机视觉，跨模态融合领域。包括以下步骤：首先，在特异性特征提取模块，对病灶区域特征和全局视觉特征进行提取；其次，利用补充知识嵌入模块构建知识图谱；然后，通过引入知识增强多头注意力机制，将放射图像的视觉特征与补充知识进行有效结合；最终，在报告生成模块中，采用Transformer解码器，通过连接所提取的视觉特征和补充知识来生成准确高效的放射学诊断报告。实验结果表明，本方法通过病灶区域特征感知和放射学知识指导能够更好地捕捉影像细粒度病灶视觉特征，提高生成报告的质量。