基于骨骼约束的人体形状和姿态估计的自监督学习方法

本发明提供了一种基于骨骼约束的人体形状和姿态估计的自监督学习方法，涉及计算机视觉中的三维视觉和计算机图形学领域。采集一段动态单人体运动的视频帧序列；采用卷积神经网络提取空间特征；通过图像分割器，光流估计器估计人体外部轮廓和运动信息；采用时空全局关系建模模块对时序进行编码，捕获远程依赖关系；通过回归器回归参数化人体模板参数以及相机参数；采用一种合成分析的策略，前向渲染与网络估计结果进行比较，从而产生梯度来调整相机、形状和运动参数；通过学习一种骨骼分布来约束预测的结果使其效果更加平滑自然；用可微渲染进行自监督的学习，自监督模型训练完成后，即可渲染出该视频帧中的人体模型姿势和形状重建。