基于知识蒸馏的模型轻量化方法

本发明公开了一种基于知识蒸馏的模型轻量化方法，通过将多个复杂模型产生的软标签作为训练数据，训练一个较小的模型，这个小模型能够模拟大模型的行为。实验表明，使用知识蒸馏的方法，不仅能够在保持相似性能的同时显著减少计算开销，而且能够使得小模型在某些情况下超越单一的大模型；本方法通过将大模型的知识传递到小模型中，知识蒸馏方法能够使小模型达到与大模型相似的表现，同时大幅度减少计算资源消耗，使小模型在处理速度和内存消耗上都具备了更高的效率。