基于拓扑语义地图提示的视觉语言导航规划方法和设备

本发明涉及一种基于拓扑语义地图提示的视觉语言导航规划方法和设备，方法首先由大语言模型将长指令分解成短指令并提取特定地标词汇，这些地标将由多模态模型在图像上进行提取和分类，生成相应的语义掩码和对应的文本描述信息，并基于文本描述信息对2D语义编码进行简化，然后结合无人机位置姿态信息和图像深度信息构建/更新自然语言形式的语义矩阵，最后基于大型语言模型输出规划结果，本发明提供了基于大语言模型的端到端框架，本框架不需要额外训练，也不需要任何动作规划器。与现有技术相比，本发明具有无需动作规划器或额外训练、减小计算量的同时提高推导的准确性、空间感知能力强等优点。