音频生成模型的训练方法、设备及存储介质

本申请公开了一种音频生成模型的训练方法、设备及存储介质，涉及人工智能技术领域。所述方法包括：获取第一训练数据集，第一训练数据集包括至少一个第一训练样本；通过音频生成模型根据第一训练样本，得到正样本音频对应的第一对数概率和负样本音频对应的第二对数概率；通过参考策略模型根据第一训练样本，得到正样本音频对应的第一参考对数概率和负样本音频对应的第二参考对数概率；根据第一对数概率、第一参考对数概率、第二对数概率、第二参考对数概率，对音频生成模型进行训练，得到训练后的音频生成模型。本申请通过执行偏好优化训练，让训练后的音频生成模型可以学习到理解并预测偏好的能力，充分提高了音频生成的质量。