摘要
本申请公开的一种基于语义对齐的放射学报告生成方法,属于放射学报告生成技术领域。本申请构建的放射学报告生成网络包括依次连接的多尺度特征提取模块、跨模态语义对齐模块和Transformer报告生成模块;所述多尺度特征提取模块包括依次连接的卷积神经网络以及多尺度局部稀疏注意力模块;所述跨模态语义对齐模块包括嵌入层以及与嵌入层相连接的多头注意力模块和门控融合模块,多头注意力模块和门控融合模块的输入端还均与多尺度局部稀疏注意力模块的输出端相连接。本申请所述放射学报告生成方法生成的预测放射学报告质量较佳。
技术关键词
报告生成方法
注意力
语义
生成网络模型
对齐模块
解码单元
文本
样本
多尺度特征提取
跨模态
图像嵌入
多标签
线性
前馈神经网络
滑动窗口