一种多模态医疗信息融合方法

本发明公开了一种多模态医疗信息融合方法，涉及三维医学图像处理的技术领域。所述方法包括以下步骤：获取历史医疗文本数据与影像数据，并对文本数据与影像数据进行预处理；根据预处理后的文本数据提取语义深度特征，根据预处理后的影像数据提取多尺度空间特征；采用异构数据协同学习方法将提取的语义深度特征和多尺度空间特征进行特征融合，并设置对比损失函数对特征融合过程进行数据优化，得到多模态医疗信息。通过本发明的方法，能够从不同尺度捕捉医疗图像数据中不同区域的特定信息，并能够述详细叙述了各医疗影像区域及其相应的功能或结构特征，以将医学影像和文本数据在结构和特征表达上进行准确区分，从而提高融合得到的医疗信息参考性。