利用位移矢量牵引并融合历史信息的机器人动作预测方法

本发明的公开一种利用位移矢量牵引并融合历史信息的机器人动作预测方法，包括：在仿真环境中收集训练数据，包括机械臂所执行任务的文本描述，机械臂末端和头部的灰度图像；使用多模态融合编码器进行文本描述和灰度图像的多模态融合编码，输出多模态融合编码信息；采用历史信息编码器对多模态融合编码信息和历史关节姿态信息进行编码获得历史编码信息；计算关节位移矢量和末端执行器位移矢量；将多模态融合编码信息、位移矢量、机器人关节姿态信息、末端执行器位姿及历史编码信息输入transformer架构中，采用ACT中动作分块和时间集成技术，预测机器人未来多个时刻的末端位姿，并通过逆运动学换算得到未来多个时刻机器人关节角度。