基于高效自注意力机制的语音识别方法及系统

本发明提供基于高效自注意力机制的语音识别方法及系统，方法包括：引入稀疏自注意力机制和线性自注意力机制，结合跨层自注意力关联机制，设计高效自注意力层技术；稀疏自注意力机制基于自注意力矩阵的低秩特性，通过保留最大的奇异值及其对应的奇异向量来近似表示整个自注意力矩阵；线性自注意力机制采用ReLU函数作为和函数替代方案；层自注意力关联机制通过在不同层之间传递注意力信息，加速深层网络的学习过程；在语音识别模型中集成高效自注意力层，调整权重参数和融合比例，对模型进行训练和优化。本发明解决了音频重要信息的捕捉能力及自然语言和环境噪音的辨识能力不足、模型复杂度高、线性计算效率较低、深层网络学习速度慢的技术问题。