摘要
本申请提供一种3D虚拟数字人动作生成方法、装置、可读存储介质和设备,所述方法包括:步骤1:基于BEAT数据集构建多语种数据集;步骤2:基于扩散模型构建深度神经网络;步骤3:使用构建的多语种数据集对基于扩散模型的深度神经网络进行训练;步骤4:基于训练好的深度神经网络进行模型推理,生成与相应语音匹配的3D虚拟数字人动画。本申请利用扩散模型,使生成的动作既具有高质量又具备多样性;利用构建的多语种数据集及语言ID来帮助模型区分不同的语言,使模型能够了解差异和不同语言之间的特点,从而提高它在多语言数据上的性能和泛化能力。
技术关键词
动作生成方法
语音特征
动作生成装置
协方差矩阵
序列
注意力
手势
样本
面部
噪声
构建深度神经网络
解码器
可读存储介质
数据分布
种子
动画
处理器
系统为您推荐了相关专利信息
多源异构数据
异常检测方法
序列
分布式协同
日志
多组件系统
序列生成器
任务调度器
关键绩效指标
动态优化系统
协方差矩阵
优化分配方法
风险
加权最小二乘
无故障