基于时序位置编码的多模态特征融合数字人视频生成方法和装置

本发明公开了一种基于时序位置编码的多模态特征融合数字人视频生成方法和装置，包括：基于单目视频构建关键点；使用Faceverse模型检测的面部Faceverse系数，拟合并替换SMPLX模型的面部Flame系数，使用Hamer模型检测的Mano手型，拟合并替换SMPLX模型的手部表示，得到优化后的SMPLX模型；基于关键点绘制得到颜色编码表征图像和眼睛注视图像，同时基于优化后的SMPLX模型绘制得到深度图像、语义图像、以及法向图像；在图像生成模型中引入用于增强时序一致性的时序位置编码，同时基于所有图像形成的多模态特征连续生成多帧数字人图像，并添加音频得到数字人视频，在多个领域都有广泛应用前景。