神经网络稀疏方法、系统、设备及介质

一种神经网络稀疏方法，通过获取每个Transformer层中注意力模块及多层感知模块的输入输出相似度；根据模型目标稀疏度、模块预设配额比例以及每个Transformer层中注意力模块及多层感知模块的输入输出相似度，获取每个Transformer层中注意力模块及多层感知模块的模块目标稀疏度；根据每个Transformer层中注意力模块和多层感知模块的模块目标稀疏度，生成每个Transformer层中注意力模块和多层感知模块的每个权重矩阵的全局裁剪模板；根据相应的全局裁剪模板，对每个Transformer层中注意力模块和多层感知模块的权重矩阵进行权重裁剪和重构。通过一次权重剪枝将大语言模型压缩至高稀疏状态，无需重新训练，也能保持优异的性能，与sparseGPT方法相比，在高稀疏度的基准测试性能的准确度表现更优异。