一种路测场景中多模态特征融合的目标检测方法及装置

本发明公开了一种路测场景中多模态特征融合的目标检测方法及装置，首先将图片语义分割前景结果投影到毫米波雷达坐标系，来增密毫米波雷达点云；然后对图片、激光雷达点云数据和毫米波雷达点云提取高维语义特征，并投影到同一个坐标系中进行拼接；最终通过3D目标检测头网络，输出3D目标检测结果。本发明能够有效缓解毫米波雷达点云稀疏，对检测网络增益低的问题，且对毫米波雷达点云做了数据增强，增加整个检测网络的鲁棒性。除此之外，实现路测端，基于深度学习的相机图片、毫米波雷达点云、激光雷达点云数据融合的3D目标检测。