摘要
本发明公开了一种多语言语音翻译模型、训练方法及推理方法,包括语音编码器、文本解码器和键值寄生推测模块;所述语音编码器包括堆叠的编码器层,所述编码器层包括自注意力模块和前馈网络模块;所述文本解码器包括堆叠的解码器层,所述解码器层包括自注意力模块、互注意力模块和前馈网络模块;所述键值寄生推测模块包括堆叠的键值寄生推测层,所述键值寄生推测层包括互注意力模块和前馈网络模块;所述键值寄生推测模块用于加速所述多语言语音翻译模型的推理速度。本发明通过轻量级的推测网络加速推理,在保证翻译性能(BLEU分数)不下降的情况下,实现40%的推理速度提升。
技术关键词
翻译模型
语音编码器
解码器
键值
文本
网络模块
多语言
推理方法
标记
序列
注意力机制
更新模型参数
矩阵
速度
数据
系统为您推荐了相关专利信息
工业设计工具
节点特征
注意力机制
意图识别
工业设计系统
动作预测方法
视觉特征
序列特征
模态特征
机器人