基于多模态实例融合的在线矢量化高精度地图构建方法

本发明公开了一种基于多模态实例融合的在线矢量化高精度地图构建方法。本发明包括以下步骤：首先，根据相机获取的环视视角图片生成几何信息增强的相机鸟瞰视角特征，以及根据激光雷达获取的三维点云生成雷达鸟瞰视角特征；接着，在多模态的鸟瞰视角特征上获取多模态热力图，从而初始化实例查询，输入到各模态地图解码器中，从而融合鸟瞰视角特征并更新对应查询；之后，实例融合解码器将相机与雷达模态的实例查询统一，再次解码并预测出高精度地图元素的几何形状与标签。本发明实现了利用多传感器数据的高精度地图在线构建，具备高精度与高鲁棒性的特点，适用于自动驾驶，机器人感知等领域，能够有效地在特征与实例层级融合多模态传感器的信息。