一种基于视觉大语言模型的自动驾驶决策规划方法及系统

本发明提供一种基于视觉大语言模型的自动驾驶决策规划方法，所述方法包括：步骤1，获取传感器输出的视频数据和感知数据，将其上传至云平台；步骤2，将障碍物信息、道路信息、车辆自身数据转换为矢量数据，进行矢量编码，将车辆状态信息转换成文本数据，进行文本编码，将视频数据进行视觉编码，提取环境特征；步骤3，根据矢量数据、文本数据和环境特征，通过视觉大语言模型思考链生成待行驶的轨迹点坐标；步骤4，根据行为决定和轨迹点坐标，进行轨迹拟合平滑，再检测合理性和安全性，将检测通过的轨迹与上一帧轨迹进行拼接，以供车辆行驶使用。