一种基于专家路由门限的高效同声传译方法

本发明公开了一种基于专家路由门限的高效同声传译方法，涉及语音处理领域，该方法基于经典Transformer架构模型，构建基于专家路由门限的专家路由策略模型，实现多语言流式翻译，模型包括：流式语音编码器，采用混合设计，由逐块自回归块和非自回归块组成；文本解码器，同时处理完整的离线语音和随机截断的语音前缀，生成隐藏状态；路由门限模块，由一个前馈网络实现，将最终隐藏状态投影为一个标量值来确定专家权重；混合专家后处理模块，与文本解码器共享语言模型头部，结合前缀信息和全局信息来预测目标翻译序列。本发明采用混合专家门限的方案来学习策略，充分发挥神经网络的自学习能力，在流式翻译与流式TTS都取得良好效果，可用于生成更多流式序列。