一种数字人面部表情同步方法、设备及介质

本申请公开了一种数字人面部表情同步方法、设备及介质，划分目标视频得到对应视频集并对视频集进行预处理得到标准视频集；基于音频与嘴唇运动同步判别器提取音频特征和视频特征以计算余弦相似度，并结合二值交叉熵损失函数实现音频特征和视频特征在同一参数空间转换；根据标准视频集对人脸进行三维形态模型建模，获取每帧人脸图像的三维空间旋转平移矩阵、相机观测方向、表情系数和人脸三维模型的形状系数，并得到平均脸型和关键点坐标；根据关键点坐标和相机观测方向获得多分辨率哈希编码的空间几何特征并结合音频特征获得条件特征，基于条件特征和高频编码信息，构建并渲染体密度和颜色，以生成音频驱动后的数字人面部表情图像。