医疗多模态信息的处理方法和系统

本发明涉及一种医疗多模态信息的处理方法和系统，旨在通过整合影像数据与非影像数据(如主诉、病史、实验室检查等信息)，提高医疗数据AI处理的准确性和全面性。方法使用图像编码器和文本编码器分别对影像和非影像数据进行特征提取，随后通过图像融合模块和文本融合模块对特征进行融合，最终通过图像文本融合模块结合影像和非影像数据的特征编码，得到多模态特征表达。该多模态特征与由报告提取的特征进行对比学习，以区分不同类型患者，得到医疗多模态信息处理结果。