一种视觉-语言与探索的具身导航方法和系统

本发明提供了一种视觉‑语言与探索的具身导航方法及系统，通过获取多通道深度图像视频作为轨迹数据，结合真实环境数据，根据配对样本结构策略及边界点动态选择策略，搜集视觉‑语言与探索大规模轨迹数据集；设置视觉‑语言与探索训练策略，从动态空间记忆库中读取记忆的查询，获得多通道深度图像序列；将在线探索与动态空间记忆库更新结合，连接视觉‑语言定位和探索，构建三维世界移动理解MTU 3D导航，实现终身学习和探索定位；利用大规模轨迹数据集对联合集成优化框架进行训练，将专家数据与嘈杂导航数据相结合，形成视觉‑语言与探索自动轨迹混合模型，在模拟环境和现实场景中进行智能推理及具身导航。