一种知识图谱增强的视觉-语音导航方法及系统

本发明提供了一种知识图谱增强的视觉‑语音导航方法及系统，其属于主动导航技术领域，所述方案通过提取真实场景下的层级知识图谱，利用层级知识图谱特征对整个导航过程进行引导，对场景先验知识进行有效利用，有效提高了导航过程中行为决策的准确性；同时，所述方案通过对语音和视觉观测特征进行直接融合，在层级知识图谱特征的引导下，有效保证了导航的精度；同时，在基于深度学习的主动导航策略模型的训练中，采用基于子目标的监督学习方法，通过以机器人到达目标位置时所经过的若干中间位置作为子目标，当机器人到达子目标时获得额外的正向奖励，以此加速了主动导航策略模型的训练，提高了训练效率。