目标对象的驱动方法和驱动模型的训练方法、装置

AITNT
正文
推荐专利
目标对象的驱动方法和驱动模型的训练方法、装置
申请号:CN202410940397
申请日期:2024-07-12
公开号:CN118762129A
公开日期:2024-10-11
类型:发明专利
摘要
本公开提供了一种目标对象的驱动方法和驱动模型的训练方法、装置、设备、介质、程序产品,涉及人工智能技术领域,尤其涉及计算机视觉和深度学习等技术领域,可应用于生成式人工智能和数字人驱动等场景。目标对象的驱动方法的具体实现方案为:基于包括目标对象的源视频帧及目标音频片段,生成与目标音频片段对应的目标对象的目标三维模型序列;基于目标三维模型序列,渲染得到与目标音频片段对应的初始图像序列;基于初始图像包括的唇部图像以及初始图像与源视频帧之间的对应关系,融合唇部图像与源视频帧,得到融合后图像序列;以及基于融合后图像序列,生成驱动后视频片段,驱动后视频片段中目标对象的唇部形状与目标音频片段相适配。
技术关键词
三维模型 视频帧 序列 编码特征 重构 音频特征提取 图像生成网络 对象 子模块 模型训练模块 驱动方法 注意力机制 指令 关系
系统为您推荐了相关专利信息
1
视频风险预测方法及相关装置
视觉特征信息 融合特征 视频帧 图像 文本
2
蛋白质功能预测方法及相关装置
蛋白质功能预测方法 术语 数据 神经网络模型 序列
3
一种基于大数据的供应链管理系统
供应链管理系统 状态分布图 子模块 大数据 需求预测模型
4
面向任务的安全语义通信方法及系统
加权分数傅里叶变换 编码调制器 接收机 发射机 符号
5
一种多模块协同优化的水质预测与控制方法及系统
多模块 优化控制策略 水质 学习器 机器学习方法
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号