摘要
本发明公开了一种基于体渲染知识蒸馏的在线矢量地图构建方法及装置,属于自动驾驶感知技术领域。方法包括:搭建多模态矢量地图构建模型,将激光雷达三维图像数据和多视角二维图像数据作为输入,将预训练完成的多模态矢量地图构建模型作为教师模型;搭建多视角二维图像数据作为输入的单模态矢量地图构建模型以作为学生模型;利用体渲染技术和知识蒸馏方法,实现教师模型对学生模型在深度特征和语义特征两个角度上的监督训练,监督训练过程中的总损失函数是由学生模型相对于教师模型的体渲染深度损失和体渲染语义损失确定得到的;利用训练完成的学生模型进行在线矢量地图构建。本发明在构建矢量地图时能够同时满足准确性和时效性。
技术关键词
矢量地图
语义特征
二维图像数据
学生
教师
三维图像数据
渲染技术
多视角
知识蒸馏方法
点云特征
解码器
激光雷达
多模态
ResNet网络
矩阵
密度