一种基于多模态数据的自动驾驶端到端方法

本发明提出了一种基于多模态数据的自动驾驶端到端方法，本方法的系统架构有三个主要组件：多模态编码器、强化学习算法和辅助检测分支。首先，系统将导航地图、图像、轨迹点以及车辆信息输入到多模态编码器中，针对不同输入数据的特点分别进行独立处理，将原始数据映射成高维特征信息。为了提高输入对环境信息的全面表征，使用红绿灯检测辅助分支，引导生成抽象特征，提高输入特征的感知信息表征能力。最后，将不同输入的潜在表示拼接起来，形成一个统一的特征向量，作为SAC（Soft Actor‑Critic）算法的输入，接着使用SAC算法与一个PID控制器一起输出控制命令，而Q网络则负责输出值函数。通过该方法，车辆能够在复杂的城市道路环境下进行自动驾驶。