一种提议级多模态数据融合的3D目标检测方法

本发明公开了一种提议级多模态数据融合的3D目标检测方法，该方法首先获取多模态自动驾驶数据集，将多视角图像和点云分别输入原始特征提取器，提取原始点云特征和原始图像特征。其次将原始点云特征和原始图像特征，输入提议生成模块进行通道和空间维度的选择，输出的点云和图像的初始提议，以及提议对应的初始特征。然后通过目标感知特征采样模块，获取互补感知特征，经自适应特征融合模块，得到集成特征进行特征提议级融合输出提议特征。最后将提议特征输入3D目标检测头，输出目标检测结果，并构建损失函数，进行反向训练。本发明充分挖掘多模态数据的互补特征，协同优化检测结果，最终实现复杂场景下的鲁棒感知。