一种基于多模态特征融合的图像分割方法、系统与设备

本发明公开了一种基于多模态特征融合的图像分割方法、系统与设备，涉及图像分割技术领域，包括步骤：将脑瘤MRI图像输入IMMF模型，通过编码器对脑瘤MRI图像进行多模态特征提取，通过提取的多模态特征生成初始特征图；将初始特征图压扁为一维序列，并将脑瘤MRI图像的三维位置编码序列补充到一维序列中，获得优化序列；将优化序列输入可形变自注意力层中，关注参考位置处的关键采样点，获取多个注意力头的特征表示作为输出序列；根据输出序列每一个尺度的大小获得重构特征图，将重构特征图进行上采样，获得多模态特征分割结果。本发明的IMMF模型可以有效地利用不同序列模式的信息，显著提升脑肿瘤分割任务的准确性。