摘要
本申请提供了一种数字人的生成模型训练方法、生成方法及相关装置,该数字人的生成模型训练方法从第一图像中去除第一对象的身份信息,以得到姿态特征;第一图像为第一视频段中的任意一帧;从第一音频数据中提取出音频特征;从第二图像中提取出第一对象的第一身份特征;第二图像为第二视频段中与第一图像对应的一帧;将姿态特征、音频特征与第一身份特征进行融合,得到第一融合特征,基于第一融合特征训练数字人生成模型,能够得到人脸姿态可控的数字人生成模型,利用该数字人生成模型能够生成更形象、更真实的数字人视频。
技术关键词
视频段
图像
生成模型训练方法
融合特征
姿态特征
音频特征
身份
对象
同步性
样本
纹理
生成方法
处理单元
数据
关键点
矩形
模型训练装置
计算机可执行指令
系统为您推荐了相关专利信息
特征提取单元
多传感器信息融合
融合网络结构
神经网络结构搜索
多传感器融合
多模态
云端
融合特征
滑动窗口机制
特征提取网络