数字人的生成模型训练方法、生成方法及相关装置

AITNT
正文
推荐专利
数字人的生成模型训练方法、生成方法及相关装置
申请号:CN202410850395
申请日期:2024-06-27
公开号:CN119152089A
公开日期:2024-12-17
类型:发明专利
摘要
本申请提供了一种数字人的生成模型训练方法、生成方法及相关装置,该数字人的生成模型训练方法从第一图像中去除第一对象的身份信息,以得到姿态特征;第一图像为第一视频段中的任意一帧;从第一音频数据中提取出音频特征;从第二图像中提取出第一对象的第一身份特征;第二图像为第二视频段中与第一图像对应的一帧;将姿态特征、音频特征与第一身份特征进行融合,得到第一融合特征,基于第一融合特征训练数字人生成模型,能够得到人脸姿态可控的数字人生成模型,利用该数字人生成模型能够生成更形象、更真实的数字人视频。
技术关键词
视频段 图像 生成模型训练方法 融合特征 姿态特征 音频特征 身份 对象 同步性 样本 纹理 生成方法 处理单元 数据 关键点 矩形 模型训练装置 计算机可执行指令
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号