基于统一鸟瞰图表征的多模态端到端自动驾驶方法及系统

本发明公开了一种基于统一鸟瞰图表征的多模态端到端自动驾驶方法及系统，方法包括：获取目标车辆对象的RGB相机图像和LiDAR点云数据，使用双分支网络进行特征提取，并将图像特征和LiDAR点云特征转化到鸟瞰图空间下，得到多模态鸟瞰图特征；将多模态鸟瞰图特征在通道维度对齐，通过卷积自注意力机制融合模块进行多模态鸟瞰图特征融合；采用基于Transformer解码器的行为规划网络，将融合后的鸟瞰图特征作为行为规划网络的决策输入，输出目标车辆对象的自动驾驶预测行为。本发明有效地提升端到端自动驾驶系统的环境场景理解能力和规划性能，提升了自动驾驶轨迹预测的准确性，可广泛应用于自动驾驶技术领域。