一种端到端自动驾驶预测和规划方法、系统、装置及介质

本发明公开了一种端到端自动驾驶预测和规划方法、系统、装置及介质，包括基于传感设备获取原始图像数据，进行初步提取，得到多模态特征；基于目标检测和语义分割，对初步提取得到的多模态特征执行多类感知任务；基于不同融合策略，对多模态特征进行多模态特征融合，得到融合后的多模态特征；对融合后的多模态特征进行模态感知和状态规划，得到初步预测和规划结果；对得到的初步预测和规划结果进行后处理优化，得到最优的端到端自动驾驶预测和规划结果。本发明通过采集特征信息，预测优化路径，从而建立的基于Transformer的多模态融合网络和辅助多模态特征的预测和规划系统，保证自动驾驶感知任务的准确性和鲁棒性，以及显著降低了碰撞率。