一种基于局部到全局多模态融合的3D目标检测方法

本发明公开了一种基于局部到全局多模态融合的3D目标检测方法，方法包括：首先获取点云及其关联的六视图图像，采用极坐标采样技术对点云进行密集化处理，并通过3D主干网络生成不同下采样率的体素特征，利用区域建议网络生成初始3D建议框；同时，使用2D主干网络从六视图图像中提取密集的语义图像特征。在多模态融合阶段，局部融合模块和全局融合模块协同工作，将多层次体素特征、语义图像特征、初始3D建议框以及原始点云的位置信息自适应地整合在一起，并通过动态聚合模块实现局部与全局融合特征间的信息交互。本发明利用局部到全局的跨模态融合，整合细粒度和整体特征，显著提升了3D目标检测性能。