摘要
本发明公开了一种快速语音驱动的面部视频编辑与生成方法、系统,属于面部生成技术领域。获取面部视频数据、面部表情文本描述和视频语音并提取特征,对视频特征进行随机时间段掩码遮挡后生成加噪视频特征,训练一个教师整流模型,其能够生成用于对加噪视频特征逐渐去噪的逆采样方向向量;再利用教师整流模型回流训练一个学生整流模型,利用训练后的学生整流模型对给定的面部图像进行视频生成,或者对给定的面部视频进行编辑。学生整流模型是在时间步为0时的加噪视频特征与教师整流模型产生的生成特征组成的配对基础上进行回流训练后得到的,提高了学生模型常微分方程轨迹的直线程度,能够用低生成步数快速实现高质量的面部视频生成与编辑。
技术关键词
视频编辑
语音特征
生成方法
学生
教师
微分方程求解器
文本
时间段
面部生成技术
模型训练模块
噪声
样本
数据获取模块
通道
生成特征
系统为您推荐了相关专利信息
多模态特征融合
生成方法
数据
大语言模型
复杂度
电网设备状态
状态机
特征值
重建误差
协方差矩阵
学生课程管理系统
线性回归模型
智慧校园
成绩
人脸图像数据