一种基于轴向挤压与窗口的自注意力方法及系统

本发明涉及人工智能技术领域，尤其涉及一种基于轴向挤压与窗口的自注意力方法及系统，基于轴向挤压与窗口的自注意力方法包括：对原始特征进行第一归一化处理以得到第一归一化特征；将第一归一化特征分别输入基于窗口的多头自注意力单元和基于轴向挤压的多头自注意力单元，基于窗口的多头自注意力输出细节增强权重，基于轴向挤压的多头自注意力单元输出挤压注意力特征，将挤压注意力特征和细节增强权重进行乘法融合以得到注意力特征；对注意力特征依次进行第一残差连接处理、第二归一化处理、全连接处理以及第二残差连接处理，以得到目标特征。本发明至少有利于降低全局自注意力的计算复杂度。