一种基于记忆驱动的视觉语言导航方法

本发明公开了一种基于记忆驱动的视觉语言导航方法，包括以下步骤：S1、构建MDQT模型，MDQT模型包括全景编码器、文本嵌入层、Q‑Former、动作预测模块、记忆更新模块；S2、使用图像关注的掩码语言建模、指令轨迹匹配和指令轨迹对比学习三个预训练任务训练MDQT模型；S3、使用模仿学习和强化学习对MDQT模型进行微调。本发明使用一个可学习的固定长度的记忆向量来编码历史信息。在每一个导航步骤，记忆向量与提取到的全景信息和指令信息进行交互，根据机器人当前的记忆状态提取与当前指令信息最相关的视觉信息，用于决策。本发明在有限的资源下有效维持机器人对历史导航步骤的记忆，提高了机器人的导航成功率和效率。