基于Conformer神经网络的方言语音识别方法及系统

本发明提供了一种基于Conformer神经网络的方言语音识别方法及系统，该方法包括：对输入的方言语音数据进行预处理，得到Fbank特征；对Fbank特征进行数据增强；将增强的Fbank特征进行归一化处理、特征维度转换和位置编码，并输入到Conformer编码器中；Conformer编码器通过多个Conformer编码器层提取声学特征，并进行归一化处理，提取出用于解码器的特征信息；提取的特征信息通过双向解码器结构处理并归一化，双向解码器结构包括双向解码器、CTC解码分支与注意力解码分支；将CTC解码分支与注意力解码分支的输出特征进行加权融合，得到最终预测结果；将预测结果通过贪婪解码器处理，得到最佳文本。本发明不仅考虑了方言语音的局部特征的有效利用，并且考虑了其基于内容的全局交互，达到了更出色的方言识别效果。