一种多层次跨媒体融合的视觉语言导航方法

本发明公开了一种多层次跨媒体融合的视觉语言导航方法。本发明步骤:1、智能体利用高通量模拟器在3D仿真环境中获取视觉信息，基于视觉信息，利用观测驱动的航路点预测器，将空间可达性和图像文本相似度作为条件，预测一系列的候选航路点；将沿遍历路径的历史观察的候选航路点与当前观察的候选航路点合并，形成并维护更新全局拓扑图；2、构建协同导航规划模块；3、由协同导航规划模块制定相应的导航路径，控制模块将其精确转化为智能体执行的一系列参数化的低级动作，以到达规划的导航目标位置。本发明克服了在传统拓扑地图中表示视觉特征的局限性，为智能体提供了更有效、更准确的导航策略。