一种基于颜色和深度信息的图像全景分割方法

本发明公开了一种基于颜色和深度信息的图像全景分割方法，包括S1，输入双目RGB图像生成深度图，并进行特征提取，得到颜色特征和深度特征；S2，将颜色特征和深度特征进行颜色深度信息融合，得融合特征；S3，对融合特征处理分别生成图像的位置头和权重头；S4，使用位置权重融合操作，合并权重头，生成物体权重和背景权重；S5，对融合特征处理，得高分辨率特征图；S6，将物体权重和背景权重与高分辨率特征图进行融合，上采样得全景分割结果。本发明结合图像的颜色和深度信息将语义分割和实例分割两个分支合并，将图像中背景视作一个连续的物体实例，从而实现了语义分割和实例分割的一致性，避免了复杂的后处理，实现端到端的训练和预测。