基于多模态特征融合的端到端3D目标检测方法及系统

本发明涉及一种基于多模态特征融合的端到端3D目标检测方法及系统。所述方法包括：采集环境图像数据以及环境点云数据，生成位置编码；基于变换矩阵将3D参考点分别进行图像映射、点云映射，生成查询嵌入；在Transformer解码器中，通过自注意力和跨注意力机制进行信息融合；基于多模态交互特征进行图像到点云的融合以及点云到图像的融合，实现特征双向交互，得到融合特征；引入多模态一致性损失，构建得到总损失函数，使用目标检测模型，完成3D目标检测。通过使用多层感知机生成位置编码，可以实现图像和点云特征的隐式对齐；引入级联双向融合，增强了点云特征与图像特征之间的交互，提升了特征的表达能力，提高3D目标检测的精度。