一种音脸同步视频生成方法、装置、电子设备及存储介质

本发明提供的一种音脸同步视频生成方法、装置、电子设备及存储介质，所述方法通过将视频数据分离出用于训练的所述音频数据，以及用于对照的所述视频图像数据，并视频图像数据中获取原始数据，通过所述音频数据获取预测人脸的顶点信息，根据所述原始信息和所述预测脸部的顶点信息渲染预测3D对象脸部，在训练的过程中将所述预测3D对象脸部与原始脸部进行形状损失计算。与现有技术相比，渲染得到的所述预测3D对象脸部直观地包含了所述预测脸部的顶点的形状、位置和颜色，本发明通过计算所述形状损失，能够提高所述脸部重构模型捕捉微妙的表情变化，进一步提高预测的精度以及生成视频的同步率。