摘要
本申请公开了数字人驱动方法、模型训练方法、装置及电子设备,涉及人工智能技术领域,尤其涉及计算机视觉、增强现实等技术领域,可应用于数字人等场景。具体实现方案为:根据目标视频中的视频帧进行三维人脸重建,以获取目标视频对应的三维人脸模型序列;根据三维人脸模型序列进行表情特征提取,得到表情特征向量;对目标视频中的音频数据进行音频特征提取,得到音频特征向量;根据表情特征向量、音频特征向量及三维人脸模型序列进行解码,得到三维人脸顶点数据序列,以用于驱动数字人的唇形和表情。
技术关键词
三维人脸模型
表情特征提取
三维人脸重建
音频特征提取
顶点
序列
模型训练方法
模板
数据
视频帧
驱动方法
解码模块
模型训练装置
样本
电子设备
处理器
系统为您推荐了相关专利信息
三维人脸重建方法
二维人脸图像
生成三维人脸模型
关键点
参数
差异检测方法
钢结构梁
激光投影装置
激光接收器
网格