一种基于深度图辅助的多视图语义识别方法

本发明公开了一种基于深度图辅助的多视图语义识别方法。首先获取多视角深度图与主视图RGB图像；然后进行深度点云的生成与处理；分别进行单视图RGB图像的语义识别和深度融合语义识别；最后通过语义融合模块综合单视图语义网络SVSN和深度融合语义网络DFSN的输出结果，生成最终的语义识别结果。本发明利用深度点云捕获三维几何结构信息，同时通过RGB图像提取丰富的纹理和语义特征，并在语义融合阶段引入加权平均结合基于规则的动态调整策略，从而有效解决了传统方法在复杂场景下易受光照变化、遮挡和噪声干扰的问题。本发明不仅提高了语义识别的全面性和精确性，还增强了模型应对多模态数据不一致和输入异常情况的能力，具有广泛的应用前景。