摘要
本发明提供了一种驱动说话人面部特征高还原方法、装置,涉及面部特征还原技术领域,该方法包括三个步骤,获取说话人的15个口腔关键帧,驱动说话人模型,使用wenet提取音频的特征;并且在训练阶段引入关键点损失函。使得该方法在实际使用时,驱动说话人能够保持每一帧画面对原始视频口腔形态的高度还原,并且在静音时段,能够自然闭嘴,保持面部和嘴巴动作的协调。以解决现有技术说话人的口腔与本人的口腔不一致,和失真的问题。
技术关键词
说话人模型
关键帧
面部特征
还原方法
视频
对齐模块
人脸关键点检测
音频特征
还原装置
形态
图像编码
多边形
指标
解码模块
模型预测值
系统为您推荐了相关专利信息
视频信号传输电路
视频信号接收芯片
无线信号发射电路
无线信号接收电路
信号编码电路
识别神经网络
图像还原
存储单元
管理方法
图像局部特征
跌倒检测方法
人体轮廓
分类模型训练
标注工具
文件夹