一种基于生成数据驱动学习的视觉语言导航方法及系统

本发明提出涉及一种基于生成数据驱动学习的视觉语言导航方法及系统，涉及深度学习和计算机视觉的技术领域，方法包括获取轨迹‑指令对，轨迹‑指令对包括原始轨迹和原始指令；对原始轨迹进行视觉观察重写，生成新轨迹视觉观测图像；对原始指令和新轨迹视觉观测图像进行指令重写，分别生成原始对齐序列地标信息和新序列观测描述信息；对原始对齐序列地标信息和新序列观测描述信息进行预处理，生成新轨迹配对指令；将新轨迹配对指令和轨迹‑指令对混合，得到混合数据集，利用混合数据集，对预设的视觉语言导航模型训练，得到训练好的视觉语言导航模型。本发明有效提高了视觉语言导航性能，能够应用于未知场景，降低了未标注数据处理成本。