4D毫米波点云和图像跨视图融合的3D目标检测方法

本发明公开了一种4D毫米波点云和图像跨视图融合的3D目标检测方法。本发明利用4D毫米波相对准确的空间定位能力和图像的语义信息，提出了一种两阶段的交叉视图融合网络，用于4D毫米波雷达和相机的3D目标检测。第一阶段雷达引导的BEV多尺度融合提供了高召回率的提议框。在第二阶段中，设计了点云引导融合模块和网格引导融合模块，能有效利用各种形式的特征，包括点云、前视图像和鸟瞰图(BEV)。这些跨视角的特征交叉融合得到实例级别的提议框特征，对提议框的细化提供了良好的帮助。实验结果表明，相比于现有的方法，本发明设计的网络取得了更好的3D检测精度，提高了复杂环境下的目标检测能力。