一种数字人物的实时生成方法及装置

AITNT
正文
推荐专利
一种数字人物的实时生成方法及装置
申请号:CN202411732097
申请日期:2024-11-29
公开号:CN119206005B
公开日期:2025-02-18
类型:发明专利
摘要
本申请公开了一种数字人物的实时生成方法及装置,获取音频内容和二维数字人物形象图像,通过预先训练的全身动作生成模型,对音频内容进行处理,得到三维全身姿态序列,将三维全身姿态序列映射为二维全身姿态序列,通过预先训练的实时姿态驱动生成模型,对二维全身姿态序列和二维数字人物形象图像进行实时姿态驱动,得到对应姿态视频,通过预先构建的唇同步模型和音频内容,实时调整对应姿态视频中数字人物的面部图像,使面部图像中的唇形与音频内容一致,得到目标数字人物视频,其中,目标数字人物视频为全身动作、面部表情和语音内容语义一致的二维数字人物视频。
技术关键词
融合特征 面部 动作表情 姿态控制模块 音频 随机噪声 序列 视频 数据 语音 图像 语义特征 网络 生成方法 编码器 输入模块 坐标
系统为您推荐了相关专利信息
1
一种基于Tri-CrossViT的轴承故障诊断方法
轴承故障诊断方法 分支 双线性插值 故障诊断模型 重构
2
一种用于实验排风设备的AI语音控制装置及控制方法
排风设备 触摸显示模块 语音控制装置 电阻 信号传输模块
3
智能眼镜
眼镜主体 智能眼镜 双目相机 控制模块 图像采集模块
4
基于姿态条件约束的人脸超分辨率生成对抗网络及生成方法
人脸超分辨率 侧面人脸图像 注意力 正面人脸图像 生成方法
5
基于3D打印面具辅助的面神经炎针灸电刺激治疗系统及方法
云端智能决策 电刺激治疗系统 深度学习算法 柔性电极 扫描成像设备
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号