一种基于知识蒸馏的学生模型自动生成系统

本发明涉及神经网络模型技术领域，特别是涉及一种基于知识蒸馏的学生模型自动生成系统。本发明使用深度卷积神经网络作为教师模型，并使用轻量卷积神经网络作为学生模型。在知识蒸馏训练的过程中引入对应实际应用场景的结构预测网络，通过结构预测网络和第一轻量卷积神经网络动态更新轻量卷积神经网络损失函数，从而使轻量卷积神经网络损失函数能够动态调整训练轻量卷积神经网络的过程，最终令轻量卷积神经网络能够在知识蒸馏训练过程中动态调整其网络结构，改变其结构大小，使得训练生成的学生模型能够在体现原有复杂教师模型的精确度的前提下，满足实际应用场景的硬件和软件资源限制，解决了难以手动设置学生网络结构的问题。