一种语音驱动的三维虚拟形象表情动画生成方法

本发明涉及一种语音驱动三维虚拟形象表情动画生成方法，包括：输入语音片段，转换为音频特征；编码器模块对音频处理模块提取得到的音频特征、静态三维头部网格模板和输入的说话风格独热编码进行编码，将其编码到隐空间，并对其进行拼接；通过双向Mamba模块处理拼接之后的特征向量序列，对于每个位置的特征向量，捕捉上下文信息，并输出相同维度的信息交换之后的特征向量序列；解码器对经由双向Mamba模块输出的特征向量序列进行解码，得到各帧人脸面部网格的各顶点位置偏移量，将其添加到静态三维头部网格模板之上得到三维头部网格序列；使用音频‑头部网格序列数据集对整个网络模型进行端到端训练。