一种基于对抗学习与稀疏正则的大模型压缩方法和系统

本发明提出了一种基于对抗学习与稀疏正则的大模型压缩方法和系统，首先通过带有掩码的多头注意力机制裁剪贡献少的注意力头，以减少参数量；其次，针对FFN结构进行稀疏约束的残差结构剪枝，优化残差结构的同时避免信息流堵塞；还引入了自适应阈值，以减少无效计算；最后，结合对抗学习范式与源模型特征的正则约束，将超参数对剪枝模型的影响分担到判别器中，使用FISTA优化方法即优化判别器，进一步提高剪枝训练的稳定性。本发明通过将对抗学习的范式应用到大模型剪枝任务当中，实现了对大模型单阶段的剪枝，剪枝后的模型不需要经过微调即可保持源模型相近的推理效果，这一设计大大减少了计算负担和计算成本。