摘要
本发明公开了一种基于上下文适应器和偏置损失的语音识别方法及系统。针对现有方法面对偏置词表较大时无法正确选择偏置词的问题,本发明采用的技术方案为:利用大规模语音数据进行预训练,基于Transducer结构构建一个基础语音识别模型;将偏置短语输入上下文适应器编码为偏置向量;将偏置向量与基础语音识别模型的编码输出相加,输入联合网络以完成最终的预测,得到最终的预测文本;对含有偏置短语的数据进行偏置学习,对最终的预测文本进行Transducer学习,利用偏置学习损失和Transducer学习损失对上下文适应器进行微调。本发明引入上下文适应器与偏置损失函数,提高了语音识别模型对于不常见短语的识别准确性。
技术关键词
语音识别模型
多头注意力机制
文本
语音识别方法
大规模语音数据
语音识别系统
音频
LSTM模型
网络
编码器
基础
目录
索引
微调单元
参数
代表
系统为您推荐了相关专利信息
大语言模型
模型构建方法
数据
多轮对话
指令生成技术
蛋白质翻译后修饰
多头注意力机制
特征提取模块
Adam算法
疾病关联预测方法
配电网状态估计
大语言模型
训练集数据
注意力机制
电力系统状态估计