一种基于框匹配的鲁棒多模态3D目标检测方法

本发明公开了一种基于框匹配的鲁棒多模态3D目标检测方法，方法包括：首先，从通过Polar Sampling处理后的密集化LiDAR点云和多视角图像中分别提取特征，生成3D和2D候选框。通过学习3D与2D候选框间的对应关系，减少了对精确校准的依赖，实现了高效的多模态特征融合。该过程包含两个层级的匹配：视图级别匹配确定最相关的图像视图特征，提案级别匹配则建立3D与2D候选框的精确对应。基于匹配的融合模块结合这些候选框的ROI特征，生成最终预测3D框。本发明通过框级匹配实现跨模态特征对齐，不仅整合了细粒度和整体特征，还显著增强了系统应对传感器异步、位置偏移及图像退化等实际问题的能力，从而大幅提升了3D目标检测的稳定性和安全性。