一种图像与点云融合多模态三维目标检测方法

本发明公开一种图像与点云融合多模态三维目标检测方法，包括步骤：基于双哈希表的体素化方法在Bev视角下动态建立点云与体素的双向映射，然后提取每个Bev体素的几何特征；将点云从LiDAR坐标系转换到图像坐标系后将点云反射强度作为新通道附加到图像上，获取4通道图像张量表示，通过基于透视体素的自适应特征提取模块获得全局多层级的图像语义特征；通过透视体素投影方法获取到透视体素几何特征对应的区域语义特征，实现区域语义特征与点云几何特征的关联对齐；采用基于交叉注意力机制的通道权重自适应模块对几何特征和与语义特征各自进行加权，将加权后的特征拼接，生成特征张量，接下来采用区域提议RPN网络进行分类和回归任务。