基于ByT5的语音合成方法、装置、设备及存储介质

本申请属于语音合成技术领域，公开了一种基于ByT5的语音合成方法、装置、设备及存储介质，方法包括步骤：获取输入文本的比特序列，利用ByT5模型将比特序列转换成文本特征向量；获取词性嵌入向量、句法结构嵌入向量；将文本特征向量、词性嵌入向量、句法结构嵌入向量求和后依次输入到生成对抗网络语音模型的全连接层、激活函数进行特征融合，获取文本融合特征；利用生成对抗网络语音模型的解码器、声码器依次获取目标语种Me l谱、目标语种波形。解决了token‑based模型受词典限制的问题，能够直接将原始文本转换到多语种统一的比特表征上，利用ByT5模型框架强大的通用处理能力的基础上融合了句法和结构的信息，能够有效提升合成语音质量。