音频驱动视频生成方法、装置、计算机设备以及存储介质

AITNT
正文
推荐专利
音频驱动视频生成方法、装置、计算机设备以及存储介质
申请号:CN202410880137
申请日期:2024-07-02
公开号:CN118413722B
公开日期:2024-10-18
类型:发明专利
摘要
本申请涉及一种音频驱动视频生成方法、装置、计算机设备以及存储介质。包括:获取驱动音频,对驱动音频进行特征预处理确定所述驱动音频的目标音频特征;根据目标音频特征确定音频特征序列,将音频特征序列输入面部动画识别模型,确定面部动画离散概率分布序列;根据面部动画离散概率分布序列确定面部动画参数序列;将面部动画参数序列和目标肖像图片输入目标变分自编码器中,生成视频帧序列,并根据视频帧序列和驱动音频生成动态语音视频。上述方案,能够丰富动态语音视频中的数字人在发声过程中面部表情,提高人像面部说话的自然度和多样性,使得数字人在发声时可以通过面部表情表达驱动音频中的感情信息,以便于用户更好的理解音频内容。
技术关键词
音频特征 面部动作单元 动画 样本 编码器 序列 视频帧 视频生成装置 视频生成方法 深度学习模型训练 语音识别模型 参数 离散特征 计算机设备 姿态估计 动态
系统为您推荐了相关专利信息
1
基于多模态大模型的自动驾驶模型、训练和自动驾驶方法
文本 视觉 视频编码数据 自动驾驶方法 自动驾驶装置
2
一种分气结构、细胞培养装置及培养设备
升降驱动组件 细胞培养装置 位移检测组件 培养设备 传动组件
3
无创产前胎儿染色体检测方法、装置及试剂盒
拷贝数 样本 基因组测序数据 磁珠纯化 无创产前胎儿
4
一种基于文本理解的质量问题信息智能匹配方法及系统
信息智能匹配方法 文本理解 智能理解技术 联合分布函数 度量
5
基于双分支密集残差网络的叠层衍射成像方法及系统
衍射成像方法 残差网络 相位恢复算法 分支 生成训练数据
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号