一种基于视觉语言模型的AR导航系统及方法

本发明公开了一种基于视觉语言模型的AR导航系统及方法，该方法首先进行视频数据采集，并构建记忆数据库。其次在构建的记忆数据库中查询与用户自然语言请求最相关的导航目标，得到的当前AR设备位姿和目标位姿。然后利用当前AR设备位姿和目标位姿，根据点云地图，求解从当前位姿到目标位姿的最短路径，并优化路径方向，最终得到优化路径。最后利用优化路径，在AR设备中，通过视野叠加路径指示和语音提示，引导用户沿规划路径移动，并更新点云地图和记忆数据库。本发明能够仅凭摄像头输入在GPS精度不高的室内外等复杂环境中实现高精度实时定位与稀疏点云地图构建，进行准确导航，提升导航的灵活性与智能化水平。