基于多模态数据融合的自动驾驶车辆控制方法及系统

本发明提出一种基于多模态数据融合的自动驾驶车辆控制方法及系统，方法为：获取车辆行驶环境中包括三视角相机图像、远距相机图像和激光雷达图像的多模态图像集；将多模态图像集输入数据融合网络，得到车辆行驶控制指令；所述数据融合网络包括信号灯感知模块、场景感知模块和轨迹预测模块；将三视角相机图像和远距相机图像输入信号灯感知模块，提取信号灯感知特征；将三视角相机图像和激光雷达图像输入场景感知模块，提取场景感知特征；将信号灯感知特征与场景感知特征进行融合为多模型融合特征，输入轨迹预测模块预测车辆位移向量，基于位移向量得到车辆行驶控制指令。通过增强对交通信号灯状态的感知，提升自动驾驶系统的感知理解能力。