基于音频驱动的3D数字人面部表情合成方法及可视化系统

本发明公开了一种基于音频驱动的3D数字人面部表情合成方法及可视化系统，所述方法包括：获取数据集；将数据集中的原始音频输入模型中的音频编码器，提取音频特征；将音频特征输入模型中的基于KAN的解码器，生成3D数字人面部表情动作；将3D数字人面部表情动作输入模型中的图编码器，提取唇部特征；通过构建融合音频特征、3D面部表情参数与唇部特征的联合损失函数，实现多模态特征的协同优化与模型训练；将待测试的原始音频输入训练好的模型，依次经过音频编码器和KAN解码器，生成对应的3D数字人面部表情动作。本发明能够使生成的3D数字人面部表情动作更加生动形象，更加贴近真实人物表情。