一种基于多视角视频采集的4dhuman动作捕捉技术的后处理动作重建方法

本发明公开一种基于多视角视频采集的4dhuman动作捕捉技术的后处理动作重建方法，包括：从至少两个视角拍摄目标人物，获取n个视角的视频片段，将视频输入4D Human动作估计网络，生成n个pkl文件；提取目标视角pkl文件中的形状参数betas并降噪优化，得到1_best1.pkl文件；提取n个视角的pkl文件中每帧45个关节的3D坐标3d_joints，经全局旋转矩阵globle_orient处理后统一坐标系，得到每个关节的估计坐标。对于每个关节的n个不同视角得到的估计坐标，用DBSCAN聚类取最大聚类中心形成新的关节3D坐标3d_joints_new。将1_best1.pkl中的关节坐标与3d_joints_new对比，若误差超10％删除该帧数据，通过样条插值补充，生成1_best2.pkl。经SmoothNet平滑处理得到最终优化数据1_best3.pkl。把1_best3.pkl经过blender中的SMPLX插件和python文件处理得到广泛使用fbx动作重建文件格式1_best3.fbx。