一种基于Transformer的多模态特征融合的端到端自动驾驶方法

本发明涉及一种基于Transformer的多模态特征融合的端到端自动驾驶方法，包括：采集RGB图像和采集原始深度图像，将原始深度图像转化HHA图像；将RGB图像、HHA图像输入至感知模块进行融合，得到融合特征图并进行全局平均池化和展平操作，得到环境特征；获取车辆实时速度、高级导航命令和目标位置，串联形成测量输入并基于MLP的测量编码器处理，得到测量特征；对环境特征和测量特征逐元素相加得到组合特征并逐步降采样，每层后接ReLU激活函数，得到轨迹特征；构建损失估计器，基于轨迹特征实时动态预测训练损失并根据损失动态调整各特征参数的权重，以对车辆进行实时动态控制调整。本申请能够很好的对多模态特征进行融合，从而实现更加精准的端到端自动驾驶方法。