摘要
本发明提供一种基于端到端自动驾驶大模型的驾驶行为标注方法及装置,其中的方法包括:获取当前驾驶场景的多视角图像;基于预先训练的端到端自动驾驶大模型,获取多视角图像对应的多组查询向量;获取提示词文本,并根据提示词文本和多组查询向量,获取当前驾驶行为的标注结果。该方法通过将端到端自动驾驶大模型中多个功能模块输出的多组查询向量作为驾驶行为标注的触发条件之一,而不是仅以图像作为驾驶行为标注的触发条件,能够实现对自动驾驶行为的准确、有效标注,标注结果和自动驾驶大模型的中间输出结果具有高度一致性,进而提升自动驾驶行为的标注精度和可解释性。
技术关键词
编码向量
标注方法
多视角
文本
行车轨迹预测
非暂态计算机可读存储介质
特征提取模块
转换器
交叉注意力机制
决策
图像获取模块
标注装置
大语言模型
处理器
功能模块
场景
系统为您推荐了相关专利信息
物料分拣系统
多模态
文本处理模型
人机交互模块
特征提取网络
资产
数据处理方法
指标
数据采集模块
数据存储架构