摘要
本申请公开了一种机器人模仿学习方法、控制方法、装置、设备及介质,所述方法包括基于示教轨迹中的动作序列构建先验知识信息;通过待训练的预测模型基于先验知识信息、示教轨迹中的每个时间步确定关键动态特征,并基于关键动态特征确定预测动作序列;基于预测动作序列训练所述待训练的预测模型以得到经过模仿学习的预测模型。本申请通过先从示教轨迹中的所有动作确定先验知识信息,然后再将先验知识信息与视觉信息和机器人状态信息结合来预测未来动作序列,这样可以通过对比学习优化多模态信息的利用效率,提升了机器人模仿学习方法对任务的多样性和环境的噪声的鲁棒性。
技术关键词
高斯混合模型
序列
机器人状态信息
轨迹
机器人模仿学习
协方差矩阵
计算机可读程序
多头注意力机制
可学习动作
动态
多模态信息
视觉
可读存储介质
处理器
终端设备
存储器
鲁棒性