唇形驱动脸部生成网络训练方法、生成视频方法及装置

本发明涉及一种唇形驱动脸部生成网络训练方法、生成视频方法及装置，用于解决实时生成真实流畅的单一对象视频问题，包括：获取训练数据集，训练数据集包括完整脸部图像、遮罩脸部图像及音频语义特征；构建唇形驱动脸部生成网络，包括脸部生成器、脸部判别器和连续脸部判别器；将完整脸部图像、遮罩脸部图像及音频语义特征输入脸部生成器和脸部判别器和连续脸部判别器进行单帧训练和多帧训练，得到经训练的脸部生成器、脸部判别器和连续脸部判别器，本发明通过遮罩脸部图像生成脸部图像，具有强大的泛化能力、生成单一对象的视频真实自然流畅，通过对视频的预处理和降低生成器模型大小，减小了生成脸部图像所需的计算量，提高了生成视频的实时性。