摘要
本发明公开了一种基于单目视频重演的数字人视频生成方法和装置,包括:基于单目视频生成关键点序列;基于关键点序列生成表示神经渲染图像序列;基于神经渲染图像序列生成数字人视频,其包括采用基于生成对抗网络和自回归架构的光流增强方式来生成数字人视频,或采用在生成对抗网络架构中引入StyleGAN3的无混叠卷积模块和全局平移旋转变换模块的纹理黏连改进方式来生成数字人视频。这样能够提升生成视频的时序连续性、可控制性以及真实性。
技术关键词
视频生成方法
生成数字人
生成对抗网络架构
图像编码器
卷积模块
视频生成模型
视频帧
关键点
序列
光流模型
残差结构
超参数
VGG网络
多尺度
面部
纹理
系统为您推荐了相关专利信息
文本编码器
图像编码器
风格
级联
交叉注意力机制
卷积模块
通道注意力机制
网络模块
特征提取能力
图片
卷积模块
多模态特征融合
身份认证方法
权重特征融合
输出特征