一种多人交互的三维面部动画生成方法

本发明公开了一种多人交互的三维面部动画生成方法，包括：获取合唱视频数据并进行预处理，得到多个歌手时间同步的音频数据以及每个歌手连续的视频帧集合；针对音频数据进行音轨分离，得到人声和背景音乐，并分别进行特征提取，提取出表示人声的内容特征和表示背景音乐的节奏特征；针对视频帧集合利用三维人脸重建算法提取出3D人脸系数，用于构建歌手的面部动作序列；利用已训练好的双分支优化模型学习音频数据的节奏特征和内容特征与面部动作序列的映射关系，得到具有节奏感和内容表达准确的歌手面部动画。本发明能够弥补该领域在歌声驱动型多人交互场景的空白，得到具有节奏感和内容表达准确的歌手面部动画，且歌手间的交互效果自然合理。