用于自主驾驶的视觉语言规划（VLP）基础模型的系统和方法

提供了用于自主驾驶的视觉语言规划(VLP)基础模型的系统和方法。用于使用视觉语言规划(VLP)模型训练自主驾驶系统的方法和系统。图像数据从安装于载具的相机获得，涵盖关于位于外部环境内的行为者的细节。经由图像处理，该系统标识环境内的这些行为者。然后生成周围环境的鸟瞰图(BEV)表示，其封装了与载具和所识别的行为者相关联的时空信息。VLP机器学习模型的执行开始于从BEV中提取基于视觉的规划特征，并接收或生成表征环境内载具的各种属性的文本信息。从该文本信息中提取基于文本的规划特征。为了增强模型性能，对比学习模型被用于建立基于视觉和基于文本的规划特征之间的相似性，并且基于相似性输出预测轨迹。