一种大模型压缩方法

本发明公开了一种大模型压缩方法，对大模型的权重参数进行预处理，对激活值和预处理后的权重参数进行动态量化操作，得到量化后的激活值和权重参数，预设损失函数、训练样本以及样本标签，根据训练样本、量化后的激活值和权重参数前向计算训练样本的预测值，将训练样本的预测值与样本标签输入损失函数计算每次训练后的训练样本的总损失，并采用STE算法反向调整大模型的权重参数，预设损失阈值以及训练总次数，若当前次训练后训练样本的总损失达到损失阈值，或当前训练次数达到训练总次数，结束训练，得到压缩后的大模型。该方法通过剪枝结合动态量化技术，对大模型进行压缩，降低了大模型的计算量和存储空间，提高了大模型的推理速度和准确性。