用于生成式人体运动模拟的机器学习模型

本发明公开了用于生成式人体运动模拟的机器学习模型。在各个示例中，公开了涉及接收文本提示或运动学约束中的至少一个并通过将文本提示或运动学约束中的至少一个应用于运动模型来使用该运动模型确定第一人体运动数据的系统和方法。通过使用运动模型通过以下操作生成第二人体运动数据来更新该运动模型：将运动捕捉(mocap)数据和视频重建数据作为输入应用于运动模型，接收针对第二人体运动数据的用户反馈信息，以及基于用户反馈信息更新运动模型。视频重建数据是通过从多个视频重建人体运动来生成的。使用运动模仿控制器从视频重建数据中过滤掉物理上不合理的伪影。使用强化学习(RL)或基于物理的角色模拟中的至少一个来更新运动模仿控制器。