一种基于轻量级多模态的脑部肿瘤图像分割方法

本发明属于图像处理技术领域，提出了一种基于轻量级多模态的脑部肿瘤图像分割方法，主要方案为：获取多模态脑部核磁共振图像数据集，并构建基于二叉树结构的多模态数据融合特征提取网络，特征提取网络包括与模态数量一致的树形编码层；为每个模态的脑部核磁共振图像构建局部特征提取器，进行特征提取；为两个相邻模态的特征提取结果构建多模态融合单元，进行模态间特征融合；为每层树形编码层生成跳跃连接参数，并对所有树形编码层的输出进行上采样后再利用跳跃连接参数进行衔接融合操作；构建出脑部肿瘤图像分割网络，获得脑部肿瘤图像的分割结果；利用多模态脑部核磁共振图像数据集对两个网络进行训练、验证和测试。