一种基于历史反思的可变环境视觉语言导航方法和系统

本发明提供一种基于历史反思的可变环境视觉语言导航方法和系统，涉及计算机视觉、自然语言处理及机器人导航技术领域，该方法为利用大模型视觉编码器与查询变压器，对可变环境视觉观察数据进行处理，得到场景图编码嵌入、下一个动作中所使用的导航历史信息和对应编码嵌入指令；利用门控网络和反思网络，对场景图编码嵌入、下一个动作中所使用的导航历史信息和对应编码嵌入指令进行分析，得到修正指令；反思网络是用于生成修正指令的大语言模型；基于修正指令，利用图感知自注意力机制进行计算，对智能体进行路径导航，得到视觉语言导航结果，完成可变环境的视觉语言导航。本发明解决了视觉语言导航适应性差和容错能力低的问题。