一种融合语义信息的激光雷达与视觉融合深度估计系统及方法

本发明属于自动驾驶技术领域，具体涉及一种融合语义信息的激光雷达与视觉融合深度估计系统及方法，包括第一级网络和第二级网络，在第一级网络中，通过双编码器‑单解码器结构融合RGB图像特征和雷达点云特征，并生成稀疏深度图；在第二级网络中，引入了RGB图像分割得到的语义信息实现分层约束，配合通道特征自适和注意力机制对稀疏深度图进行处理，得到稠密深度图，以生成最终的深度图；在此过程成，通过设计由LiDAR分支损失、稀疏深度图损失和最终预测结果损失组成的多约束损失函数，优化系统从而引导网络更准确地进行深度估计。与现有技术相比，本发明获得更为全面、准确、的深度估计结果。