摘要
本发明公开一种单目视频基于3DGS重建360度人头的方法及装置,其中,方法包括:将人头的正脸数据输入全人头生成模型SphereHead进行GAN反演,产生360°全人头数据;使用人脸3D关键点检测的深度学习模型获取360°全人头数据中的人脸3D关键点;使用所述人脸3D关键点进行仿射变换,并裁剪和对齐,得到多视角的人脸数据;利用关键调谐反转技术PT I处理多视角的人脸数据,并使用所述仿射变换的变换矩阵做逆变换,得到多视角的人脸训练数据;将多视角的人脸训练数据作为伪数据,将人头的正脸数据作为真实数据输入至3DGS模型进行模型训练,生成360度人头模型。本发明使得重建过程不会因空间转换带来更多误差,由此得到更高清更稳定的360°人头重建结构。
技术关键词
人脸
多视角
关键点
数据
反转技术
人头模型
深度学习模型
计算机可执行程序
视频
计算机可读记录介质
反转模块
矩阵
图像分割
处理器
相机
存储器
偏差