摘要
本发明提供一种虚拟人脸生成方法、系统、电子设备和存储介质,该方法包括:将待处理人脸图像,以及待处理人脸图像对应的音频特征和人脸关键点特征输入至人脸生成模型中的编码模块,得到图像编码特征和口唇运动编码特征;将图像编码特征和口唇运动编码特征输入至人脸生成模型中的特征融合模块,得到融合特征;将融合特征输入至人脸生成模型中的解码模块,得到虚拟人脸图像;其中,人脸生成模型是基于样本真实人脸图像、样本真实人脸图像对应的掩码人脸图像、以及掩码人脸图像对应的样本音频特征和样本人脸关键点特征,对参数规模值小于预设值的初始图像生成模型训练得到的。本发明实现保障虚拟人脸生成质量的同时,提高虚拟人脸生成效率。
技术关键词
人脸生成方法
编码特征
音频特征
人脸关键点
图像生成模型
样本
融合特征
解码模块
编码模块
运动特征
解码单元
运动编码器
图像编码器
非暂态计算机可读存储介质
时间序列模型
电子设备