一种基于多模态数据的医学影像报告生成方法及装置

本发明涉及一种基于多模态数据的医学影像报告生成方法及装置。该方法获取原始的多模态数据并进行预处理，多模态数据包括影像数据、主诉文本数据和临床检查文本数据；利用训练好的多模态深度学习模型预测并生成相应的医学影像报告；预测过程具体包括：基于预处理后的影像数据，利用训练好的卷积神经网络模型提取图像特征；基于预处理后的主诉文本数据和临床检查文本数据，利用训练好的人工神经网络模型提取语义特征；融合图像特征与相应的语义特征，得到融合特征；将融合特征输入全连接层，映射得到医学影像报告。与现有技术相比，本发明具有提高医学影像报告生成的可靠性、降低人工负荷等优点。