摘要
本发明公开了一种情感说话头视频生成模型训练方法及系统,包括,S1、获取视频训练集,对视频训练集进行预处理得到视频源图、源音频和视频源图的头部姿态;S2、将视频源图、源音频和视频源图的头部姿态输入情感说话头视频生成模型得到情感说话头视频;S3、基于情感说话头视频和视频训练集进行损失函数计算,反向优化情感说话头视频生成模型;S4、执行步骤S1到S3,直到损失函数最小输出最优情感说话头视频生成模型。本发明可以实现情感说话头视频情感准确表达。
技术关键词
视频生成模型
表达序列
训练集
变形特征
人脸关键点
声学特征
深度图
音频
解码器
语音特征
面部
融合特征
语音编码器
输入模块
文本编码器
图像编码器
系统为您推荐了相关专利信息
智能判别方法
文本
合规性
地理信息工程
敏感信息识别
信道估计模型
信道估计方法
超参数
分子
正交频分复用系统
故障诊断方法
家用电器
样本
采样方法
多头注意力机制
堆芯组件
卷积神经网络模型
数据验证
六角形
参数
CART决策树
决策树模型
分类决策树
超参数
剪枝方式