基于GAN优化的高质量音画同步说话人生成方法

本发明公开了基于GAN优化的高质量音画同步说话人生成方法，属于说话人生成领域，包括以下步骤：S1、分别从音频文件和视频文件中提取音频特征和图像特征，并进行预处理；S2、基于StyleGAN2构架建立图像生成模型，并训练；S3、将提取的音频特征和图像特征输入训练完毕的最优对话模型，生成驱动图像序列；S4、利用图像融合算法将生成的驱动图像序列与原始图像进行融合，并重建完整帧图像；S5、按照时间顺序将所有帧图像编码为输出视频。采用上述基于GAN优化的高质量音画同步说话人生成方法，通过优化数据预处理、创新模型架构以及损失函数设计，实现了高质量、时间稳定且音画同步准确的说话人视频生成。