一种基于姿势对抗网络的人脸视频生成方法及系统

本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统，涉及图像处理技术领域，方法包括：构建人脸视频生成模型，包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器，所述人脸视频生成模型接收人脸图像和语音音频，生成人脸说话视频；获取训练数据集并对人脸视频生成模型进行预训练；构建唇型同步判别器作为判别器，对预训练人脸视频生成模型进行生成对抗训练；利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模，并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度，同时兼顾视频的逼真度，使得其更加真实、自然，从而为各种应用场景提供了更多的灵活性。