基于预训练特征与头部稳定模块的说话数字人生成方法

本发明公开了一种基于预训练特征与头部稳定模块的说话数字人生成方法，构建说话数字人生成模型，提取语音帧的语音特征和参考视频帧的表情特征，提取参考视频帧的头部姿势，从参考视频帧提取脸部图像和嘴部图像并分别得到对应的高斯基元，根据脸部分支的高斯基元、语音特征和表情特征得到脸部分支的逐点变形参数，根据嘴部分支的高斯基元和语音特征和和嘴部分支的逐点变形参数，渲染得到脸部图像和嘴部图像后融合生成说话数字人视频，采用训练样本集对说话数字人生成模型进行训练，用训练好的说话数字人生成模型根据输入的语音和参考视频生成说话数字人视频。本发明对语音编码方法和头部姿势获取方法进行改进，从而提高生成说话数字人视频的质量。