摘要
本发明公开了一种手部重建模型训练方法、手部重建方法和装置,应用于三维重建领域,包括:对训练数据集中的手部图片进行特征提取,得到全局特征;再对全局特征进行提取,分别得到左右手定位特征、左右手关节区域分割特征和左右手交互特征;对左右手定位特征、左右手关节区域分割特征和左右手交互特征进行特征融合,得到融合特征;基于融合特征,对左右手MANO系数和相机参数进行回归,利用回归的左右手MANO系数与回归的相机参数进行手部重建,得到重建手部;根据重建手部和真实手部对手部重建模型进行训练,得到训练好的手部重建模型。本发明可以基于单张图片进行任意场景的手部重建,重建的手部姿态、形状和双手间的相对深度位置都准确。
技术关键词
模型训练方法
特征提取模块
定位特征
交互特征
融合特征
图片
关键点
关节
定位模块
相机
数据
坐标
全局特征提取
模型训练装置
参数
模型训练模块
视频
人体
双手