基于Zip-MoE模型分组混合专家层的中英文语音识别方法和系统

本申请提出一种基于Zip‑MoE模型分组混合专家层的中英文语音识别方法和系统，Zip‑MoE模型包括6个编码器块，每两个编码器块间包含一个Bypass模块，学习前一个编码器块输出和当前编码器块输出加权的权重；前3个编码器块为标准的Zipformer结构；后3个编码器块采用含分组混合专家层的Zipformer‑MoE结构，用分组混合专家层替代Zipformer结构的最后一个前馈网络；分组混合专家层包括中文专家组、英文专家组和语种路由器，专家组均由若干个专家网络构成并分别配置无监督路由器。缓解了语种混淆的问题，能够适配不同时延流式场景，灵活扩展专家数量，无需进行预训练，大大提高了中英文的识别效率。