高保真高同步的说话人脸生成模型训练方法及系统

本发明提供一种高保真高同步的说话人脸生成模型训练方法及系统，应用于图像处理技术领域，其中，上述方法包括：获取待驱动音频、位姿图像以及参考图像候选集；基于位姿图像与图像候选集进行难例挖掘，得到位姿图像对应的身份参考图像，其中，身份参考图像与位姿图像之间的嘴部匹配度最低；将身份参考图像、位姿图像以及待驱动音频输入至说话人脸生成模型，得到说话人脸生成模型输出的生成说话人脸图像，其中，说话人脸生成模型是基于生成对抗网络模型的；基于目标分辨率人脸图像指导的损失函数，对生成说话人脸图像模型进行监督，以训练说话人脸生成模型；通过本发明能够生成同时具有保真度和同步性的说话人脸图像。