一种方言语音克隆模型的训练方法、方言语音克隆方法、装置、终端设备及存储介质

本发明公开了一种方言语音克隆模型的训练方法、方言语音克隆方法、装置、终端设备及存储介质，所述训练方法包括：获取方言音频样本及对应的文本信息；将文本编码器、语音分词器、大语言子模型及流匹配子模型的参数设置为固定参数，初始化Lora模块的第一低秩矩阵和第二低秩矩阵；以方言音频样本及文本信息为输入，以文本信息对应的克隆语音为输出，对方言语音克隆模型进行迭代训练，直至损失函数收敛；在训练时，在损失函数未收敛的情况下，对第一低秩矩阵和第二低秩矩阵进行更新，将更新后的第一低秩矩阵和第二低秩矩阵的乘积作为权重矩阵更新量，加入大语言子模型中。通过实施本发明能够提高方言克隆的真实感以及模型的训练效率。