基于自回归式大语言模型的零样本语音合成方法及装置

本申请提供了一种基于自回归式大语言模型的零样本语音合成方法及装置，该方法包括：将参考音频的音频编码特征、参考文本的文本编码特征、目标文本的目标文本编码特征输入预先训练好的大语言模型中，得到大语言模型输出的目标序列；将目标序列输入预先训练好的扩散模型中，得到扩散模型输出的目标序列对应的目标梅尔谱；将目标梅尔谱输入预先训练好的声码器中，得到声码器输出的目标梅尔谱对应的目标音频，并将目标音频确定为参考音频和目标文本对应的语音合成结果。这样，使得用户只需在语音合成阶段添加目标发音对象的少量参考音频即可，无需使用目标发音对象的语音数据对原有的语音合成模型进行重复训练，有效地提高了零样本语音合成能力。