跨模态融合三维目标检测方法、系统及存储介质

本发明公开了一种基于Mamba模型的跨模态融合三维目标检测方法、系统及存储介质，方法首先提出浅层BEV状态空间融合方法，利用Mamba模型的二维选择性扫描机制构造隐藏状态空间，通过特征通道交换操作和视觉状态空间块增强浅层特征，实现跨模态特征关联和交互。其次，利用交叉注意力机制和视觉状态空间块形成深层BEV状态空间融合方法，采用注意力机制计算不同模态的差异性特征，与增强后的浅层多模态特征分别送入视觉状态空间块进行深层融合。最后，通过设计通道自适应模块，增强原始BEV特征表示，弥补Mamba模型在建模通道间关系方面的局限性。本发明方法有效解决了BEV特征信息丢失的情况，在BEV空间中可以有效结合两种模态的优势，显著提高检测性能。