一种神经网络运算的加速方法及装置

本发明实施例公开了一种神经网络运算的加速方法及装置；方法适用于基于decoder的大模型网络，包括：获取矩阵乘阵列的第一输出结果；所述第一输出结果包括多个矩阵乘结果；从多个所述矩阵乘结果中获取第二输出结果；其中，所述第二输出结果为所述矩阵乘结果每一行的最大值；将所述第一输出结果和第二输出结果进行softmax后续计算，输出目标计算结果。与现有技术相比，本发明通过在矩阵乘阵列的非线性计算单元中增加最大值计算单元，将原本在softmax计算中的最大值计算提前到矩阵乘计算阵列中的非线性计算单元中。相较于现有解决方案，减少了随后softmax计算中一次数据加载的开销，并且没有改变原始算法的精度。