一种用于RGB-D语义分割的多模态引导融合方法

一种用于RGB‑D语义分割的多模态引导融合方法，属于计算机视觉领域。本发明实现方法为：基于RGB数据训练单模态分割教师模型，引导RGB‑D多模态模型完成RGB图像与深度图像的融合；使用Segformer网络作为单模态分割教师模型；对于RGB‑D多模态学生网络训练，引入单模态分割教师网络，基于教师网络预测分割掩码与分层特征的预测级和特征级双重引导，使学生网络融合RGB信息与深度信息时保留RGB图像更丰富的语义信息；基于单模态分割教师网络预测分割掩码与分层特征的预测级和特征级双重引导，引入加权策略，与RGB‑D多模态学生网络训练交叉熵损失结合，反向传播更新学生网络参数，保障模态信息交互有效性，提升RGB‑D多模态学生网络分割效果。