基于多模态数据融合的智能驾驶环境感知方法及其系统

本发明公开了基于多模态数据融合的智能驾驶环境感知方法及其系统，涉及自动驾驶技术领域，该方法为：首先通过GPS获取车辆的位置信息，若GPS信号弱，则启用辅助定位机制；多模态数据采集与预处理：在辅助定位机制启动后，车辆通过RGB摄像头、激光雷达、以及IMU传感器来采集周围的环境信息；利用改进的深度卷积神经网络对RGB图像进行特征提取，同时通过区域建议网络生成高精度的3D边界框；通过构建的高效图像推理框架，将多模态信息进行融合。本发明基于多模态数据融合与环境感知结果，本发明使得自动驾驶过程中不仅能够对周围环境进行精确的目标识别，还能够进行全局和局部路径规划。