基于关键点和模仿学习的动作预测方法、终端及存储介质

本发明公开了基于关键点和模仿学习的动作预测方法、终端及存储介质，涉及具身智能技术领域。本发明将世界模型的思想与模仿学习结合，通过环境动力学预测模型学习到更符合环境上下文的场景表示，并通过训练后的轨迹预测模型预测关键点运动轨迹，以辅助动作头模块进行动作决策。本发明利用关键点运动轨迹作为辅助信息，可以有效提升智能体的决策准确性。首先关键点不会受到光照等环境变化的影响，即使物体被部分遮挡，剩余部分的关键点轨迹依然能够提供同样的信息，因此具有较好的鲁棒性。其次，关键点的运动轨迹与智能机械装置在三维空间中的运动轨迹存在确定的映射关系，因此能够使得神经网络更好的拟合智能机械装置的移动动作。