一种解耦式语音自监督预训练方法

本发明公开了一种解耦式语音自监督预训练方法，包括预训练和微调两个阶段。构建以卷积、Transformer、音高变化处理器和说话人信息处理器为核心的自监督预训练模型。输入语音后，卷积模块将语音编码为帧级特征；音高变化处理器提取音高变化表征，并从主分支剔除，将其替换为掩蔽向量后输入Transformer编码器。在编码器中间层加入说话人处理器模块来提取说话人表征，并从主分支表征中剔除。继续编码处理，最终映射到目标语音表征维度。第一轮预训练后，提取中间层表征，训练第二个K‑Means模型生成新的伪标签目标，进行第二轮预训练。利用加权求和机制获得任务特定表征，适用于各种下游任务。