基于SAM模型的多模态医学图像分割方法及系统

本发明实施例公开了一种基于SAM模型的多模态医学图像分割方法及系统，所述方法包括：构建步骤：构建用于分割多模态医学图像的SAM模型，所述模型包括图像编码器、掩膜解码器、提示编码器、模态编码器和模态感知模块；训练步骤：使用交叉熵损失和Dice损失来训练所述SAM模型；分割步骤：所述SAM模型根据点击提示或者物体框提示输出对多模态医学图像中各个对象的分割结果。本发明通过引入轻量级的模态编码器和模态感知模块，实现了对SAM模型的多模态拓展，避免了对于每一种多模态任务都重新训练大模型的巨大计算开销，提升了医学图像的分割性能，从而实现了SAM在多模态医学图像分割任务中的高效应用，进而提高了诊断的准确性和可靠性。