语音驱动3D数字人眼神和头部动作方法、装置及设备

本申请的实施例提供了一种语音驱动3D数字人眼神和头部动作方法、装置及设备。该方法包括：从输入的语音信号中提取语音嵌入特征；将语音嵌入特征分别输入至预训练的头部运动生成模型和眼球运动生成模型中，以得到头部运动的潜在空间表示和眼球运动的潜在空间表示；使用时序Transformer模型对头部运动和眼球运动的潜在空间表示进行跨模态对齐，生成与语音信号同步的头部姿态参数序列和眼球旋转参数序列；根据头部姿态参数序列、眼球旋转参数序列以及基于语音驱动所生成的面部表情参数序列，生成包含头部动作、眼球运动以及面部表情的3D数字人动画。本申请实施例的技术方案可以仅从语音信号中自动且多样化地生成3D数字人眼动、头部运动及面部表情。