一种基于视觉与文本常识增强的具身智能体室内导航方法

本发明公开了一种基于视觉与文本常识增强的具身智能体室内导航方法，包括借助ChatGPT和BLIP‑2来提供环境常识性信息；借助Stable Diffusion生成常识性的视觉图像；通过视觉编码器和文本编码器分别提取视觉特征和文本特征；通过拓扑映射构建拓扑图特征；通过文本常识布局学习模块和视觉常识布局学习模块，分别从语言和视觉两个维度帮助VLN代理学习环境常识；将学习常识后的文本特征与学习常识后的视觉‑拓扑特征融合得到多模态融合特征，并作为分类回归头的输入进行动作预测；最后执行在线导航，加载训练模型测试导航效果。本发明通过文本和视觉常识中包含的房间类型和房间类型中常见物体等语义和视觉信息，增强视觉特征的表达能力，提高了导航精度和鲁棒性。