一种低复杂度的高效注意力方法、装置、设备及存储介质

本申请公开了一种低复杂度的高效注意力方法、装置、设备及存储介质，通过引入一个压缩向量s，使用了两步全局交互注意力，但每一次的使用中浮点计算仅仅为D×d和d×D次，当输入序列特别长时，计算复杂度不受输入序列长度的影响，仅与嵌入维度相关，可以降低计算资源的占用，进一步降低网络的计算代价，解决了现有的基于自注意力机制的语音识别方法在面对大规模输入序列时，存在的内存消耗大且计算时间长的技术问题。