一种基于层次化注意力机制的机器人动作序列生成方法

本发明申请公开了一种基于层次化注意力机制的机器人动作序列生成方法，包括：步骤1，将多个机器人操作图像输入卷积神经网络CNN层，提取图像特征序列；将多个关节位置信息通过CNN层的线性层投影为关节状态向量序列；将待执行的动作序列作为预测目标；将关节状态向量序列、图像特征序列和预测目标作为编码器的输入数据；步骤2，采用编码器将关节状态向量序列映射为风格变量，在图像特征序列、关节状态向量序列、待执行的动作序列的前端添加随机初始化的可学习向量标记；步骤3，基于序列稀疏注意力，采用训练后的解码器预测机器人的机械臂的未来动作序列。本发明为机器人精细操作能力的提升提供了新的解决方案。