摘要
本发明公开了基于SAM自适应微调的多模态半监督医学图像分割方法,所述方法包括:获取原始多模态影像,调整为预设大小,并经过图像预处理后得到多模态图像对;将多模态图像对同时输入到结构完全相同的学生分支模型与教师分支模型,学生分支模型与教师分支模型均包括融合模块、SAM编码器和分层解码器;多模态图像对经过卷积网络构成的融合模块后得到融合特征,将融合特征输入到所述SAM编码器,获取不同Transformer层的输出特征;将多个输出特征输入到分层解码器,分层解码器根据多个输出特征进行相似度计算,得到原型分类,并通过线性层得到预测掩码。本发明能够很好地利用多层级特征来实现细粒度的分割,实现了良好的分割效果。
技术关键词
医学图像分割方法
分层解码器
多模态
输出特征
医学图像分割系统
融合特征
图像嵌入
原型
编码器
令牌
分支
影像
教师
模块
学生
交叉注意力机制
适配器