通过声音中情绪实现视频中人物表情与唇形同步的方法及克隆数字人系统

本发明公开了一种通过声音中情绪实现视频中人物表情与唇形同步的方法及克隆数字人系统，通过声音中情绪实现视频中人物表情与唇形同步的方法，采集音频信息并提取声音的多维度特征；应用预先训练好的表情与唇形生成模型根据声音的多维度特征生成对应的表情参数和唇形参数；对表情参数和唇形参数进行融合处理，并根据融合后的参数生成连续的动画序列；将连续的动画序列进行渲染，生成带有表情与唇形和声音情绪同步的视频信息。实现高度精准的表情与唇形同步，提升克隆数字人的自然逼真度，拓展克隆数字人的应用范围和价值。