基于语义信息和彩色图像引导的道路场景深度补全方法

本发明公开了一种基于语义信息和彩色图像引导的道路场景深度补全方法，包括通过设计一个由彩色图像引导分支和语义引导分支组成的双分支网络，并在网络中引入了语义信息，从而进行道路场景深度补全。利用多任务学习的思想，通过在彩色图像引导分支中与深度图预测层共享骨干，仅需添加语义分割层，而不需要增加整个网络，就能获得语义信息。同时，该语义分割层生成的语义标签作为输入进入语义引导分支，使该层参数在网络训练时也可以自适应的调整。本发明通过整合高精度的语义信息和RGB图像，对激光雷达提供的稀疏深度图进行补充，进而提高数字孪生、虚拟现实、数字基建、智慧交通等应用中场景理解的准确性与实时性。