用于自动驾驶中的多模态融合感知方法、装置及系统

本发明涉及自动驾驶技术领域，具体公开了一种用于自动驾驶中的多模态融合感知方法、装置及系统，包括：分别获取自动驾驶车辆的图像数据信息和毫米波雷达点云数据信息；对毫米波雷达点云数据信息进行预处理，获得毫米波鸟瞰图特征；对图像数据信息进行图像预处理，获得相机鸟瞰图特征；根据相机与毫米波雷达的标定对毫米波鸟瞰图特征与相机鸟瞰图特征进行时空对齐，获得时空对齐后的毫米波鸟瞰图特征以及相机鸟瞰图特征；根据交叉注意力机制以及轻量化分层门控机制对毫米波鸟瞰图特征以及相机鸟瞰图特征进行特征融合，获得多模态融合感知结果。本发明提供的用于自动驾驶中的多模态融合感知方法能够适用于复杂动态场景下的自动驾驶感知。