大语言模型剪枝方法、装置、存储介质、程序产品

本发明提出一种大语言模型剪枝方法、装置、存储介质、程序产品，该方法包括：获取预训练的大语言模型及对应的文本数据集；通过迭代激活依赖神经元，识别大语言模型中相互依赖的耦合组，将耦合组作为剪枝的基本单元；基于耦合组，对组内参数进行粗粒度评估和细粒度评估，融合计算参数重要性生成剪枝掩码；根据剪枝掩码通过剪枝操作移除模型中的冗余参数；对剪枝后的模型进行参数优化，并通过文本数据集进行微调，生成目标大语言模型；将目标大语言模型部署至计算设备，执行文本生成或语义分析任务，并统计任务准确率与模型压缩率。该方法不仅有效的降低了模型的参数量使部署简单，还提升了剪枝后模型对下游任务处理的准确性。