一种基于大型视觉语言模型的自动驾驶解释文本确定方法

本发明涉及自动驾驶技术领域，具体公开了一种基于大型视觉语言模型的自动驾驶解释文本确定方法，所述方法包括获取多视角摄像头图像、BEV地图图像以及文本查询模板；对多视角摄像头图像中的视频特征进行提取，对BEV地图图像中的图像特征进行提取；基于模态编码器对图像特征与视频特征进行对齐；将文本查询模板进行编码，生成文本标记，基于共享投影器将对齐后的图像特征与视频特征映射到文本嵌入空间，生成视觉标记，将视觉标记与文本标记输入LLM骨干模型，实现了全面的三维动/静态情境感知以及局部场景与全局地图的视觉表示统一，3D LVLM架构具备出色的三维空间理解和动态时间推理能力，有效提升端到端自动驾驶的准确性和安全性。