一种降低剪枝对神经网络模型造成的性能损失的方法

本发明公开了一种降低剪枝对神经网络模型造成的性能损失的方法，包括如下步骤：S1:在模型Transformer层的自注意力模块和层间输入输出端插入可学习的正交矩阵，对权重和输入进行旋转变换；S2:基于旋转变换后的权重和输入矩阵，计算不同剪枝方法对应的重要性分数；将重要性分数归一化为概率分布，通过最小化信息熵将权重重要性集中于少数参数；固定原始模型权重，结合归一化重要性分数与信息熵最小化目标，训练正交矩阵直至收敛；S3:将所述正交矩阵的旋转效果合并至模型权重，形成优化权重矩阵；S4:利用现有剪枝方法移除低重要性参数，执行剪枝操作。本发明通过在剪枝前对模型权重施加可学习的正交变换，重构权重重要性分布以增强模型剪枝适应性。