多视角相机图像与激光雷达融合的道路感知方法与系统

本发明提出一种多视角相机图像与激光雷达融合的道路感知方法与系统，该方法包括：基于车载相机多视角图像和激光雷达点云数据得到相机鸟瞰图的深度信息特征和激光雷达鸟瞰图的深度信息特征；基于相机鸟瞰图的深度信息特征和激光雷达鸟瞰图的深度信息特征得到具有深度分布的相机鸟瞰图特征；将具有深度分布的相机鸟瞰图特征和无深度分布的相机鸟瞰图特征进行特征对齐，得到含有深度信息表示的相机鸟瞰图像特征；基于含有深度信息表示的相机鸟瞰图像特征和激光雷达鸟瞰图的深度信息特征得到预测结果。本发明在车辆行驶中通过车载相机的图像，实时推理预测当前场景的道路情况，在视野受限，环境恶劣的非结构化道路条件下实时感知当前行驶路况。