一种阶段自适应的知识蒸馏算法

本发明公开的是一种阶段自适应的知识蒸馏算法，包括以下具体步骤：输入初始数据集作为主要监督任务；初始化一组卷积神经网络(教师模型与学生模型)，初始化和训练解码器，初始化决策层；将数据集输入到卷积神经网络，获取师生模型倒数第二层的特征输出，并将其输入解码模块以获得重构图像，再者将师生模型的重构图像与原始图像输入决策层，以获得是否进行蒸馏的决策结果；利用损失函数的梯度信息，通过链式求导法则进行反向传播，计算得到的梯度被用于更新网络的权重；重复执行步骤3至步骤4，直至损失函数值收敛或达到预设的训练周期。本发明不仅可以集成到已有的蒸馏方法中，而且可以避免蒸馏算法在资源受限环境的限制。