一种基于多模态大模型的无人车语义定位方法及系统

本发明公开了一种基于多模态大模型的无人车语义定位方法及系统，涉及自动驾驶技术领域，包括模型训练过程和定位应用过程；在模型训练过程中，通过多种车载传感器获取外界环境信息，车载计算机基于外界环境信息生成语义信息，构建语义信息与位置信息一一对应的语义知识库并形成数据集，利用数据集对通用大模型进行训练，得到适用于无人车语义定位的多模态大模型；在定位应用过程中，通过车载传感器、车载计算机获取实时语义信息，利用训练好的多模态大模型对实时语义信息进行推理，得到无人车位置信息及周围环境情况。本发明可以提高对复杂环境的感知能力，加快无人车坐标位置推理速度，利于无人车在应对卫星导航不可用情况下的增强定位。