摘要
本发明公开了一种结合临床语义增强的跨模态门控融合放射学报告生成方法,涉及医学报告生成技术领域。本发明中语义增强解码单元用于对图像序列表示、历史文本嵌入和临床语义表示进行深度融合,获得多模态语义增强的最终增强解码表示;对语义增强解码单元输出的最终增强解码表示进行报告生成,得到预测放射学报告。本申请所述放射学报告生成方法生成的预测放射学报告在句子结构和连贯性方面更接近放射学报告样本文本。
技术关键词
报告生成方法
解码模块
拼接单元
图像编码器
融合神经网络
解码单元
语义特征
门控神经网络
注意力
跨模态
影像
文本
胸部X光图像
输出端
前馈神经网络
图像特征提取
上下文特征
报告生成技术