一种基于三维高斯的稀疏视角人脸重建方法及装置

本发明提出了一种基于三维高斯的稀疏视角人脸重建方法及装置，该方法是基于神经网络的三维高斯初始化点云生成，使用计算机视觉技术对真实拍摄的图片进行智能识别，得到准确的人脸重建结果；再进行10个视角下稀疏数据的人脸高斯初步重建，初步优化使得三维高斯在优化中贴合人脸几何的表面，几何优化给之后的人脸材质重建提供良好的几何基础；引入稳定扩散模型，给予真实的拍摄数据更高的优化权重进一步优化，最后基于前述建模结果再基于PBR模型的人脸外观重建。本发明实现了在输入图像信息不足的情况下，利用有效的初始化输入限制，以及稳定扩散模型，弥补了信息不足的缺点，改善了稀疏三维高斯重建(RelightableGaussian)容易失败和陷入局部最优值。