唇音同步处理及模型训练方法、电子设备及存储介质

本申请实施例提供了一种唇音同步处理及模型训练方法、电子设备及存储介质，包括：对输入的人脸数据进行掩码处理，得到人脸掩码视频帧；对输入的音频数据进行语音特征提取，得到嘴部特征视频帧；生成嘴部特征视频帧的各级采样特征图；至少将人脸掩码视频帧输入到预训练扩散模型的主输入侧，并且将嘴部特征视频帧的各级采样特征图输入到预训练扩散模型中的第一条件输入侧，得到唇音同步视频。通过本申请实施例，可以使得数字人在说话视频中唇音更加同步。