摘要
本发明涉及一种多视角3D骨骼实时重建方法及存储介质,方法包括以下步骤:通过RGB相机阵列采集骨骼数据得到视频流;通过对当前采集的视频流的视频帧进行预处理,所述预处理包括对当前视频帧进行光流引导对齐;将经过预处理的当前视频帧输入时空特征金字塔网络进行处理后输出多尺度动态特征图;将多尺度动态特征图输入到物理约束神经辐射场进行联合优化得到多视角3D骨骼模型。通过光流引导对齐技术结合时空特征金字塔网络恢复动态细节,突破低照度运动模糊难题。在纯RGB摄像头或摄像机的硬件配置下低成本、高精度及实时性地3D骨骼重建。
技术关键词
特征金字塔网络
视频帧
骨骼模型
多视角
动态
视频流
生成多尺度
分支
泊松噪声
双线性插值
关节力矩
物理
光流场
照度
坐标
对齐技术
解码器