摘要
本发明公开了基于知识蒸馏的海南方言语音识别优化系统,包括:数据预处理模块,用于对海南方言语音数据、海南方言文本数据进行处理,输出得到MFCC语音特征序列、标注的文本标签、海南方言文本数据;教师模型模块,包括RNN语言模型、CNN语言模型、Transformer语言模型,将方言文本数据分别输入RNN语言模型、CNN语言模型、Transformer语言模型中,经过动态温度调节,得到软标签和中间层特征;学生模型训练模块,根据MFCC语音特征序列、标注的文本标签、软标签、中间层特征对学生模型进行知识蒸馏以及参数调优;输出模块,利用知识蒸馏以及参数调优后的学生模型对海南方言进行语音识别,得到识别结果;且所训练的学生模型体积小、计算复杂度低,最后能够得到准确的识别结果。
技术关键词
语音识别优化系统
中间层
动态温度调节
语音特征
蒸馏
学生
标签
文本
循环神经网络语言模型
教师
模型训练模块
数据
序列
输出模块
表达式
参数
编码器
复杂度