基于跨数据视图协同训练的RGB-D图像语义分割方法、设备及计算机可读介质

本发明公开了基于跨数据视图协同训练的RGB‑D图像语义分割方法、设备及计算机可读介质。本方法首先将RGB‑D图像转换为点云数据并经二维投影算法得到四层点云特征和点云语义预测图；通过深度特征提取器获得深度特征图，利用深度引导的空间适配器模块在RGB提取过程中重新校准RGB特征以减少噪声，并辅以均方误差损失进行监督获得RGB特征图；接着使用RGB‑D模态融合模态和RGB‑D解码器获得RGB‑D语义预测图；最后，跨数据视图协同训练方法通过预测层面的蒸馏损失和结构化损失迁移点云语义分割模型的3D空间关系理解。本发明实现对深度信息的高效利用和RGB‑D语义分割模型的准确分割。