基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法

本发明适用于模型剪枝技术领域，提供了基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法。本发明提出基于动态对比掩码学习与相互知识蒸馏的动态剪枝框架来压缩深度神经网络模型。动态对比掩码学习通过对比学习将相似的掩码聚合并在特征空间中区分，生成二值化掩码；结合样本复杂度自适应因子，无需人工设定剪枝阈值，实现样本子网络的自适应剪枝。相互知识蒸馏利用子网络间相互学习实现知识迁移与特征增强，缓解剪枝过程中的特征信息丢失。该框架能在减小模型大小与计算开销、提升推理速度的同时，保持较高精度并提升模型性能与鲁棒性，适用于计算资源受限的场景，可在保证深度神经网络精度的前提下实现高效通道剪枝，进一步提升模型泛化能力。