基于Mamba的激光点云与摄像头多模态特征融合的目标感知方法

本发明公开了基于Mamba的激光点云与摄像头多模态特征融合的目标感知方法，涉及机器视觉的技术领域，包括以下步骤：将从摄像头提取的特征以及从激光雷达点云提取的特征进行特征融合、将时域帧信息与当前帧信息进行混合，方便后面特征的提取、将激光雷达数据的Bev特征与摄像头数据的Bev特征通过相乘运算以及拼接方法实现两类数据的融合、结合卷积以及VMamba方法对特征进行重新排序实现序列化然后Mamba对特征进行提取，再结合通道注意力模块SE‑Block实现对目标特征的提取。本申请通过混合时域信息并融合多视角摄像头图像与激光雷达数据增加了物体信息，通过TemporalMerage模块、Mamba Encoder模块增强了对物体的特征描述能力，提高了模型对目标的检测能力，可有效地提高目标的检出率。