摘要
本发明涉及医学影像分析,具体涉及一种融合医学影像和文本报告的结构化标签生成方法,读取待分析的医学影像及相应的文本报告,并对医学影像和文本报告进行预处理;将预处理后的医学影像转换成三通道的Tensor类型向量,得到图像向量;对预处理后的文本报告进行编码,得到文本编码向量;提取图像向量和文本编码向量的多模态融合特征;将多模态融合特征输入预训练的文本生成网络RoBERTa,生成结构化标签;本发明提供的技术方案能够有效克服现有技术所存在的难以结合医学影像和文本报告更全面、准确地生成结构化的医学影像标签的缺陷。
技术关键词
文本
编码向量
报告
融合特征
三通道
像素数组
训练集
病变特征
标签
网络
图像
优化器
信息更新
图谱
多模态
格式
序列
模式