基于大语言模型端到端可解释的自动驾驶控制方法与系统

本发明公开了基于大语言模型端到端可解释的自动驾驶控制方法与系统，将前视相机捕获的视频帧作为输入，可以预测下一时刻控制信号和输出车辆当前行为的文本叙述；利用语言模型广泛的世界知识，赋予自动驾驶更加强大的逻辑推理能力；设计一个新的控制信号预测头，区别于以往简单的预测头，引入交叉协方差池化和归一化操作以聚合分词，探索更丰富的特征，有利于控制信号的预测。本发明公开的自动驾驶系统不仅可以提供精确的控制信号预测，还能给出基于自然语言的解释，从而增强系统的透明度和可解释性，有助于提升自动驾驶的安全性和用户信任度。