一种端到端基于多层信息融合的方言音频识别方法及系统

本申请涉及一种端到端基于多层信息融合的方言音频识别方法、系统、电子设备及计算机可读介质。该方法包括：将方言音频进行音频预处理，生成声学特征；将所述声学特征输入到编码器中，所述编码器对其进行渐进式降采样操作，生成多层细粒度声学特征；通过层适应模块对所述多层细粒度声学特征进行多层信息融合，生成融合声学特征；通过交叉注意力机制对所述融合声学特征进行交叉融合，生成修正声学特征；将所述修正声学特征输入到端到端方言识别模型中，生成方言音频识别结果。本申请能够对复杂语音信号和多口音特征进行高效捕捉和处理、还能够在线实时进行方言音频的分类及解码，提高了语音识别的准确性和鲁棒性。