摘要
本申请公开了一种数字人物的实时生成方法及装置,获取音频内容和二维数字人物形象图像,通过预先训练的全身动作生成模型,对音频内容进行处理,得到三维全身姿态序列,将三维全身姿态序列映射为二维全身姿态序列,通过预先训练的实时姿态驱动生成模型,对二维全身姿态序列和二维数字人物形象图像进行实时姿态驱动,得到对应姿态视频,通过预先构建的唇同步模型和音频内容,实时调整对应姿态视频中数字人物的面部图像,使面部图像中的唇形与音频内容一致,得到目标数字人物视频,其中,目标数字人物视频为全身动作、面部表情和语音内容语义一致的二维数字人物视频。
技术关键词
融合特征
面部
动作表情
姿态控制模块
音频
随机噪声
序列
视频
数据
语音
图像
语义特征
网络
生成方法
编码器
输入模块
坐标
系统为您推荐了相关专利信息
轴承故障诊断方法
分支
双线性插值
故障诊断模型
重构
排风设备
触摸显示模块
语音控制装置
电阻
信号传输模块
眼镜主体
智能眼镜
双目相机
控制模块
图像采集模块
人脸超分辨率
侧面人脸图像
注意力
正面人脸图像
生成方法
云端智能决策
电刺激治疗系统
深度学习算法
柔性电极
扫描成像设备