摘要
本公开提供了数字人驱动模型生成方法、装置、电子设备及存储介质,涉及人工智能技术领域,尤其涉及计算机视觉、深度学习、大模型、增强现实等技术领域,可应用于数字人等场景。具体实现方案为:基于参考视频确定第一合成序列、第二合成序列、语音特征标记序列、参考特征标记和面部特征标记;基于第一合成序列、语音特征标记序列、参考特征标记和面部特征标记训练第一子模型,以使第一子模型输出第一驱动视频;基于第二合成序列、参考特征标记和面部特征标记训练第二子模型,以使第二子模型输出第二驱动视频;基于训练后的第一子模型和第二子模型生成数字人驱动模型。本方案能提高数字人驱动模型生成数字人视频的质量。
技术关键词
视频
标记
语音特征
面部特征
序列
生成数字人
噪声特征
注意力
适配器
模型生成方法
网格特征
头部特征
图像
模型生成装置
编码
模块
电子设备
处理器
系统为您推荐了相关专利信息
新能源电力系统
预警方法
样本
预测误差
高斯混合模型
监测点
数据管理系统
子模块
农田排水沟渠
重构模块
视频自动生成方法
多模态数据融合
支持用户自定义
指数
多模态特征