摘要
本发明涉及一种实时数字人生成方法及系统,所述方法包括以下步骤:获取目标人物的单目视频,并提取单目视频中的3DMM信息;根据3DMM信息将单目视频进行高斯点初始化,得到规范空间下的高斯参数;提取单目视频中的语音音频特征,将语音音频特征输入音频‑运动模型中,得到通用人脸关键点运动序列;通过投影算法将通用人脸关键点运动序列转换为目标人脸关键点运动序列;将目标人脸关键点运动序列和规范空间下的高斯参数输入人脸关键点引导的高斯变形网络中,得到高斯变形参数;将高斯变形参数通过高斯光栅化器渲染为对应的视频帧,进而得到目标人物的数字人视频。与现有技术相比,本发明提高了数字人视频生成的精确度和创作灵活性。
技术关键词
人脸关键点
生成方法
音频特征
多层感知器
投影算法
参数
面部
运动
光栅
视频帧
序列转换模块
语音
顶点
透明度
坐标
网络
系统为您推荐了相关专利信息
配置获取方法
线性阵列天线
匹配误差
连续性
物理
图像生成方法
图像特征向量
文本特征向量
眼睛
掩膜