一种动态参数调节提高模型压缩效率的方法

本发明公开了一种动态参数调节提高模型压缩效率的方法，采用动态调节蒸馏温度，不同的训练阶段蒸馏温度随着学生模型学习知识从易到难自动调整，使学生模型学到更多隐藏知识；采用动态调节损失函数的比例，使训练不同阶段两个子部分对损失函数影响不同，加快模型的训练速度。本发明能够加速知识蒸馏过程，将知识从复杂的教师模型转移到轻量级的学生模型中，在体积小于教师模型的同时尽量保持与教师模型接近的推理能力。