一种面向Transformer加速器的多阶段动态稀疏优化方法

本发明公开了一种面向Transformer加速器的多阶段动态稀疏优化方法，属于深度神经网络的加速器优化技术领域。解决了现有技术中传统的Transformer加速器推理阶段加速优化方法效率较低、效果较差的问题；本发明确定输入矩阵，对Transformer模型推理阶段进行独立的动态稀疏优化方法，即生成用于指导矩阵乘法的掩码矩阵，指导各个阶段的矩阵运算；通过提前的掩码生成方法对Transformer模型中数据流进行调整，提前生成各个阶段所需的掩码矩阵，加速矩阵运算，得到矩阵运算结果。本发明有效提升了Transformer加速器推理阶段的效率，减少了计算量，可以应用于优化Transformer加速器。