多模态弱监督医学图像分割模型的训练方法、分割方法及装置

本发明公开了一种多模态弱监督医学图像分割模型的训练方法、分割方法及装置，包括：统一医学图像的尺寸大小；网络模型的第一阶段通过残差编码网络提取出不同尺度下的CAM图，通过Sigmoid激活函数合并单模态不同尺度下的CAM图；融合不同模态的CAM；利用CLIP将前景图像、背景图像、前景图像对应的文本标签以及背景图像对应的文本标签进行编码，并计算图像编码向量与对应的文本编码向量的相似度，最大化其相似度作为损失项，同时将前景图像的CAM与背景图像的CAM差值的绝对值的相反数也作为损失项之一，用以训练模型；将最终的CAM以0.5作为阈值进行分割前景与背景，与真实标签计算最终的Dice分数用以评估模型性能；本发明能利用大模型强大的表征能力解决多模态CAM融合问题。