摘要
本发明涉及一种基于扩散策略的移动机器人视觉语言导航方法,包括:S1、构建RGB及深度时空融合编码模块;S2、构建自然语言指令关键语义查询编码模块,有效凝练与压缩自然语言指令;S3、融合视觉、语言、局部历史位移与全局位移信息,构建多模态条件交叉注意力编码模块;S4、构建条件扩散Transformer解码模块,基于条件向量解码得到噪声向量,并作用于多步去噪过程,输出多条候选的多步导航轨迹;S5、基于对比学习方法构建导航轨迹判别器,用于高效自主判别候选轨迹与目标点的匹配分数;等等。本发明具有较强的抗干扰能力、较高的任务完成率,且能适应多种复杂环境与动态变化,具有较强的泛化能力和可扩展性,能够在多样化的应用场景中稳定运行。
技术关键词
移动机器人视觉
导航方法
编码模块
自然语言
轨迹跟踪算法
模型预测控制框架
学习方法
策略
视觉特征
记忆特征
融合视觉
多层感知器
轨迹特征
噪声系数
注意力编码器
机器人相机
系统为您推荐了相关专利信息
多路温度控制器
温度监测模块
电压输出模块
数据采集模块
电阻
协同管理系统
项目
服务能力信息
智能匹配模块
自然语言文本
无人机拍摄图像
线段匹配方法
像素
双三次插值
LSD算法