摘要
本公开涉及视频处理技术领域,公开了视频生成方法、装置、设备、存储介质及程序产品,该方法包括:获取目标音频、待处理视频以及目标对象的多张图像,待处理视频是对目标对象的视频中的唇部区域进行掩模处理得到的;基于目标音频生成目标对象的驱动关键点;基于多张图像中唇部区域的牙齿图像质量,对多张图像进行筛选,确定参考图像;对参考图像中的目标对象进行关键点提取,得到参考关键点;基于参考图像、参考关键点以及驱动关键点,对待处理视频中的唇部区域进行预测,确定与目标音频对应的目标视频。本公开能够解决语音驱动唇形的驱动效果较差的问题,以提高语音驱动唇形所生成的说话视频的视频质量。
技术关键词
视频生成方法
关键点
图像
视频生成模型
音频
光流模型
对象
视频生成装置
光流场
像素
掩模
可读存储介质
指令
数据获取模块
计算机程序产品
存储器
处理器
系统为您推荐了相关专利信息
货物移动机构
码垛机器人
引导组件
驱动组件
移动组件
铁路接触网检修
深度图像数据
测距方法
停车场
物体
机器人模型
工业机器人
数字孪生模型
监控方法
实时位置