一种基于多模态GaussianSplatting的三维人脸重建系统及方法

本发明涉及三维人脸重建技术领域，且公开了一种基于多模态GaussianSplatting的三维人脸重建系统及方法，首先使用专业设备捕获人脸RGB图像并利用结构光人脸面扫设备，对人脸进行高精度扫描，获取结构光面扫数据；再使用UNet网络将人脸RGB图像映射为三维空间中的3D高斯表示；最后使用3DGS渲染管线，根据目标相机姿态生成新视角的渲染图像，并引入结构光面扫数据计算几何损失，结合两者形成总损失函数优化3DGS模型参数，通过多模态数据的协同监督显著提升了重建精度，有效解决了传统结构光重建中因数据模态单一导致的人脸部分缺失或细节不完整的问题，实现了完整且高精度的人脸重建，避免了因局部数据缺失导致的重建不完整问题。