一种面向胸部放射报告生成的跨模态信息增强方法

本发明涉及面向胸部放射医学报告生成的跨模态信息增强方法。包括以下步骤：首先，使用视觉特征提取器和文本特征提取器分别提取多尺度影像视觉特征和多尺度报告文本特征；其次，将提取到的多尺度影像视觉特征和多尺度文本特征，通过跨模态对齐模块，来强化视觉‑文本特征的映射关系；然后，将对齐后的特征信息输入到跨模态注意力模块中，获取模式信息并更新存储到记忆矩阵中，从而使跨模态信息进一步增强；最后，采用报告生成模块，将经过编码后的视觉特征和增强后的跨模态信息共同输入到该模块中，生成最终的诊断报告。在医学报告生成公开数据集上得到的实验结果表明，本方法能有效提高医学报告生成的准确性和有效性。