一种数字人视频生成方法、装置、设备及介质

AITNT
正文
推荐专利
一种数字人视频生成方法、装置、设备及介质
申请号:CN202411037796
申请日期:2024-07-31
公开号:CN118842975A
公开日期:2024-10-25
类型:发明专利
摘要
本申请公开了一种数字人视频生成方法、装置、设备及介质,涉及计算机技术领域,包括:获取投顾对话场景下的目标说话对象图像和目标音频数据;将目标说话对象图像和所述目标音频数据输入至目标数字人模型,以便通过目标数字人模型根据目标音频数据进行关键点序列预测,以得到用于控制数字人说话时头部动作和上半身肢体动作的目标关键点序列;通过目标数字人模型并根据目标关键点序列、目标说话对象图像、目标音频数据的音频特征控制并合成连续的数字人视频。将肢体动作、头部姿态融合到音频驱动的扩散网络中,使生成的数字人视频充分考虑了对话场景下的音频与动作交互和音频提供的时序信息。
技术关键词
视频生成方法 网络 音频特征 噪声图像 训练集 肢体动作控制 对象 更新模型参数 数据 人脸关键点 序列 注意力 视频生成装置 生成数字人 动作交互 时序
系统为您推荐了相关专利信息
1
一种多MCU固件升级方法和系统
固件升级方法 固件升级系统 数据 报告 列表
2
一种解决溯源证据链缺失的网络威胁固证技术
拜占庭容错 隐马尔可夫模型 签名算法 Petri网模型 验证阈值
3
基于图像采集质量的冠状动脉造影射线剂量调控方法
生成对抗模型 冠状动脉造影 调控方法 多尺度特征融合网络 射线
4
一种基于数据驱动的直流微电网故障检测方法
分布式发电单元 网络系统 状态空间模型 直流微电网 故障检测方法
5
视频内容描述方法和装置、电子设备及存储介质
梅尔频率倒谱系数 跨模态 多模态 加权特征 分层特征
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号