一种改进多模态融合的三维目标检测方法

本发明涉及目标检测技术，具体公开一种改进多模态融合的三维目标检测方法，对点云和图像提取特征，通过对每个点云及其领域内点的特征差定义局部注意力相关性函数，获得点云的边缘感知图，进而从边缘信息获取物体的中心热力图。在图像与点云特征融合阶段，使用深度感知BEV网格划分策略，将图像特征投影到BEV网格融合后的图像‑点云特征热力图与点云热力图结合，生成初始查询点索引。通过索引在点云BEV特征中定位对应点，并依次与点云特征和图像特征进行注意力融合，获得最终的融合查询点。本发明利用点云的空间结构特性，同时利用深度感知BEV网格融合图像信息，结合不同模态的优势，提高了复杂路况中的检测精度和稳定性。