一种优化生成唇形驱动视频效果的方法、装置及存储介质

本发明公开一种优化生成唇形驱动视频效果的方法、装置及存储介质，其中，优化生成唇形驱动视频效果的方法包括：将语音文件、视频文件输入至唇形同步深度学习模型，输出语音视频，语音视频中数字人唇形动态效果与语音文件中文字内容相匹配；所述唇形同步深度学习模型的训练过程包括：针对训练数据样本集进行数据预处理，基于训练数据样本集中的目标图target img随机选取与目标图target img之间的角度差异被限制在设定范围内的参考图Ref img；将参考图Ref img、目标图target img和mask图作为唇形同步深度学习模型的输入进行训练。本发明的一种优化生成唇形驱动视频效果的方法，在进行模型训练时能抑制过拟合，鲁棒性更高；同时，可以更快的训练出模型。