摘要
本发明涉及一种机器人视觉语言导航的动作自适应方法和系统,包括:确定机器人可行动作空间数值范围,并生成随机动作;基于随机动作与环境交互所得变化,利用机器人动作影响自编码模块得到动作嵌入向量;基于动作嵌入向量,对比数据集中特定动作并计算差异,确定当前执行动作及对应的语义含义;基于确定性的动作与环境交互所得,利用交叉模态注意力特征提取模块,得到机器人视觉语言多模态特征;基于机器人视觉语言多模态特征,作为扩散策略决策模块条件,迭代推理出机器人下一步执行动作;对机器人状态进行更新,直至到达目标结束本次导航任务。与现有技术相比,本发明具有增强机器人动作自适应的鲁棒性和准确性等优点。
技术关键词
机器人视觉
多模态特征
自然语言
特征提取模块
交叉注意力机制
编码模块
机器人状态信息
视觉特征提取
图片
指令
视角
数值
记忆
生成随机
语义
系统为您推荐了相关专利信息
电网故障处置
知识库管理系统
语句
知识图谱构建
生成图谱
输电线路机器人
故障定位方法
视觉
热力图
融合特征
图像
变形映射关系
参数
色彩校正模块
三维表面形貌
代码库
分布式环境
依赖关系信息
站点
自然语言文本