一种基于轻量化模型的交互式知识蒸馏算法

本发明公开的是一种基于轻量化模型的交互式知识蒸馏算法，算法的具体步骤如下：输入初始数据集作为主要监督任务、初始化在线蒸馏网络，将初始数据集数据进行数据增强操作、依据网络结构特点，对在线蒸馏网络进行模块划分、数据增强后的数据集输入到在线蒸馏网络的各个网络块中、利用损失函数的梯度信息，通过链式求导法则进行反向传播、重复执行步骤4至步骤5，直至损失函数值收敛或达到预设的训练周期，通过持续的迭代优化。本发明解决神经网络性能不足的问题，使得模型能够在不改变自身大小的情况下，尽可能提升网络性能。