一种基于对比学习的多模态医学图像交叉检索方法及系统

本发明提出一种基于对比学习的多模态医学图像交叉检索方法及系统。所述方法能够对不同模态的医学图像进行特征提取，将DR等单张扫描图像、CT和MRI等序列图像和整张巨大尺寸的病理图像等不同模态的医学图像转换为对应的单一特征向量，并实现对不同模态医学图像特征之间、以及医学图像与自然语言文本之间的对齐。在此基础上，所述图像提取方法能够实现文本到图像和图像到图像的多模态交叉检索，即能够根据输入的文本信息检索出与之最相似的医学图像，也能够对给定的某一模态的医学图像，在其相同的图像模态内、以及在不同的图像模态之间检索与其相似度最高、包含内容更为相近、更具有参考价值的医学图像。所述方法由医学图像编码器、图像序列特征聚合器、文本编码器、多模态对比学习模块和多模态交叉检索数据库组成。在所述方法的基础上，本发明实现一种多模态医学图像交叉检索系统，所述系统能够根据文本和图像输入，实现对医学图像的检索，并提供图像浏览和分析工具，帮助医生做出更准确的诊断和治疗决策。