摘要
本发明公开了一种基于潜在动作的机械臂操控方法,其中方法包括:获取视频数据并进行预处理;构造潜在动作提取模块和前向模型;利用预处理后的视频数据,对潜在动作提取模块以及前向模型进行训练;构建潜在策略模型,结合训练后的前向模型对潜在策略模型进行训练;在潜在策略模型的基础上,训练一个具体动作模型;给定任务描述,获取机械臂的当前观测图像,输入训练后的潜在策略模型,得到潜在动作向量;将任务描述、当前观测图像和潜在动作向量输入训练后的具体动作模型,得到具体动作交由机械臂执行。本发明通过引入潜在策略模型,利用潜在动作捕捉任务之间的共性,使机械臂能够快速适应新任务和动态环境,从而提升任务执行的效率和成功率。
技术关键词
操控方法
图像编码器
多层注意力
机械臂
文本编码器
多层感知机
策略
模块
高层语义信息
视频
网络
误差
数据
参数
高层次
图片