一种基于BEV特征多模态融合的三维目标检测方法及系统

一种基于BEV特征多模态融合的三维目标检测方法及系统，步骤1，分别使用相机和雷达传感器获取采集的图像数据和三维点云数据，并进行预处理；步骤2，将步骤1中经过预处理后的图像数据和三维点云数据输入到特征提取网络中，分别进行特征提取，得到三维体素特征和图像特征；步骤3，利用高度压缩将三维体素特征转换为BEV特征；利用双线性插值将图像特征与BEV特征进行特征对齐；步骤4，将图像特征和BEV特征对齐，利用Concat和可变形卷积方法进行多模态融合，获得融合特征；步骤5，将所述融合特征输入到basebackbone二维网络进行特征处理，利用Voxel RCNN检测头来预测边界框。本发明完成基于图像数据和点云数据的高精度、高效率、适应性强的多模态三维目标检测。