基于音频驱动的视频生成方法、装置、设备及介质

本发明涉及人工智能领域，可应用于金融科技、医疗健康等业务系统平台中，公开了基于音频驱动的视频生成方法、装置、设备及介质，包括：获取驱动音频与参考视频；对驱动音频分别进行语音识别和声音特征提取，根据解耦的语义特征和说话人嵌入特征生成音频模态下的复合特征；对参考视频进行多层编码处理，得到多层人脸图像特征；根据多层人脸图像特征进行风格特征提取，得到风格特征；将音频模态下的复合特征、多层人脸图像特征以及风格特征输入到预先完成生成对抗训练的视频生成器中，对输入的特征进行多模态特征融合后融入空间语义信息解码生成与驱动音频对应的虚拟人视频。通过音频解耦得和多模态特征融合，提升虚拟人视频生成的自然性和真实性。