一种基于多模态模型的室内语义建图与导航方法及系统

本发明提供了一种基于多模态模型的室内语义建图与导航方法及系统，涉及目标导航技术领域。本发明通过控制安装有深度相机的机器人在室内环境中移动，使用深度相机采集室内环境数据，生成像素级语义地图、图像级语义地图和二维障碍地图，获取并解析用户输入的导航指令，得到待执行的导航目标序列，使用像素级语义地图和图像级语义地图对导航目标序列进行相似度匹配，生成导航目标；根据机器人所处位置和导航目标的位置生成最短路径，使机器人根据最短路径运动到目标点，实现了对开放式的室内场景的全面建模，极大地提升了机器人对复杂的非结构化场景的理解能力。