多模态融合的3D目标检测方法、装置、设备及存储介质

本发明公开一种多模态融合的3D目标检测方法、装置、设备及存储介质，包括：采集当前帧的图像数据和点云数据；将历史帧的目标查询向量和可学习的全局查询向量通过自注意力机制进行融合，作为当前帧的目标查询向量；针对图像和点云的不同特性，采取不同的融合方式，获取所要融合的图像特征和点云特征；将所要融合的图像特征和所要融合的点云特征进行拼接，并输入前馈神经网络，得到更新后的当前帧的目标查询向量；基于更新后的当前帧的目标查询向量进行检测，获得当前帧的3D检测结果。本发明能够有效提升检测性能、优化效率与鲁棒性、增强跟踪与泛化能力。