相似性报告提示跨模态增强医学报告自动生成方法

本发明公开一种相似性报告提示跨模态增强医学报告自动生成方法，图像特征提取模块提取多尺度视觉特征，文本特征编码模块提取文本特征；训练阶段医学图像已有对应的报告；测试阶段，对于用于测试的医学图像采用动态提示生成模块选取相似病例，并将相似病例对应的文本报告的文本特征加权融合，输出得到动态提示向量，使用动态提示向量替代对应报告；跨模态特征融合模块动态融合图像特征和文本特征，输出得到融合特征向量；融合特征向量和自回归生成的未结束的报告共同输入CMN后得到增强特征；报告生成模块对增强特征处理输出基于自然语言的诊断报告文本。本发明采用动态提示机制和跨模态注意力，减少无关噪声干扰，降低误诊风险。