摘要
本发明涉及语音识别技术领域,公开了一种基于BERT预训练语言模型的语音指令识别方法,该方法包括:接收待识别语音,并通过自动语音识别模型将待识别语音转化为文本序列;微调BERT预训练语言模型,并利用微调后的BERT预训练语言模型对文本序列进行文本分类,得到待识别语音对应的指令类别;利用知识蒸馏对微调后的BERT预训练语言模型进行模型压缩,得到序列分类模型;利用序列分类模型对文本序列进行特征提取,得到待识别语音对应的指令类别标签,本发明考虑到音频数据较文本数据更难获取的情况,选用BERT预训练语言模型,提高分类准确性,利用知识蒸馏进行模型压缩,识别到待识别语音指令类别标签,为人机交互提供数据支撑。
技术关键词
训练语言模型
语音指令识别方法
自动语音识别
模型压缩
文本
序列
识别语音指令
蒸馏
标签
语音识别技术
学生
可读存储介质
特征提取模块
解码器
计算机程序产品
编码器