一种基于预训练语音模型的多语种声纹识别方法

本发明公开了一种基于预训练语音模型的多语种声纹识别方法，利用预训练语音模型WavLM与传统声纹识别模型ECAPA‑TDNN相融合。本发明引入多层感知机(MLP)模块，用于进一步提炼和转换WavLM提取的特征，使其更适合于ECAPA‑TDNN模型的输入需求，增强了模型对特征的抽象和表达能力。对于多语种声纹识别方面，本发明利用少量语音数据集对模型进行微调，其基本步骤如下：首先，冻结预训练语音模型WavLM的参数，使其保持已学习到的知识。然后在训练中不断调整MLP模块及ECAPA‑TDNN模型参数使其学习到多语种声纹识别本领。在应用中，待识别语音经融合模型获得特征向量，该向量经过评判决策后，获得声纹识别的结果。