一种基于动态双教师多级蒸馏的迭代剪枝优化方法

本发明涉及深度学习技术领域，公开了一种基于动态双教师多级蒸馏的迭代剪枝优化方法，包括以下步骤：S1：训练一个深度学习模型作为原始模型；S2：使用预设的滤波器重要性评估标准对模型进行剪枝，得到剪枝后的学生模型；S3：从教师模型仓库中选择与所述学生模型容量相近的一个教师模型作为正教师，并选择所述原始模型作为副教师；S4：利用所述正教师和副教师对所述学生模型进行多级蒸馏微调；S5：重复上述剪枝、教师选择和多级蒸馏微调的步骤，直至达到预设的最大剪枝率。提出基于动态双教师的迭代剪枝优化方法，在微调阶段通过引入多级蒸馏和动态教师选择机制，显著提高了剪枝后的模型性能恢复能力。