基于两阶段权重组衰减的粗粒度神经网络稀疏化方法及系统

本发明公开一种基于两阶段权重组衰减的粗粒度神经网络稀疏化方法，包括：对初始神经网络进行若干周期的预训练，使模型在目标任务上初步收敛；在预训练模型的基础上引入第一阶段的细粒度权重衰减机制，依据各权重的相对幅值分配不同的衰减因子；基于预设的重要性评估标准，以结构单元为粒度进行第二阶段粗粒度衰减操作，将每个结构单元内的所有权重视为整体，并根据其重要性水平施加统一的衰减因子，进一步弱化低重要性结构单元对模型性能的贡献，逐步实现结构化稀疏过程；对经过稀疏的模型进行微调训练，恢复因模型稀疏化造成的精度损失。本发明在不显著影响模型性能的前提下，实现模型压缩与加速。