一种多模态驱动的虚拟数字人面部动画生成方法及系统

本发明公开一种多模态驱动的虚拟数字人面部动画生成方法及系统，涉及计算机图形学领域，所述方法包括：获取语音输入和文本输入并提取语音特征和文本特征，经由注意力融合模型动态融合两种特征以生成面部表情及头部姿态控制参数，并采用面部上部表情与面部下部表情差异化的驱动策略动态调节语音模态和文本模态对所述控制参数的贡献权重；基于所述控制参数对虚拟数字人面部图像进行局部变形生成初始动画帧，并利用生成对抗网络对所述初始动画进行细化处理，得到细化后的面部动画。借助上述技术方案，本发明能够生成与语音内容和文本语义相匹配且自然逼真的虚拟人面部动画。