一种情感同步的2D数字人模型训练方法、装置

本发明提供了一种情感同步的2D数字人模型训练方法、装置，涉及2D数字人技术领域，该方法通过生成包含多种表情和情绪的音频和视频数据集，利用LivePortrait模型和声音克隆技术，以及hallo2模型，实现了数字人口型与输入音频的精确对齐，同时保持与音频情绪一致的面部表情。同时在模型训练阶段使用了情感分类器，提高了推理速度；并设计了表情损失函数和口型损失函数，优化模型训练过程，确保数字人的表情和口型能准确反映输入音频的情绪。旨在提高2D数字人在语音交流中的表情自然度和真实感，确保数字人的表情与音频中的情绪同步。