基于教师模型输出重构的知识蒸馏方法

本发明涉及机器学习领域，具体为基于教师模型输出重构的知识蒸馏方法，对数据集预处理，得到能够直接输入教师模型的预处理数据集，并输入教师模型和学生模型，分别得到教师模型和学生模型各自对应的分类结果和输出logit，以此得到教师模型修正后的输出logit的概率分布以及非目标类别概率分布，以及学生模型的输出logit的概率分布；基于教师模型修正后的输出logit的概率分布以及非目标类别概率分布，与学生模型的输出logit的概率分布，进行知识蒸馏，对学生模型进行训练，从而得到所需的学生模型。本发明能够对教师模型输出概率分布进行重构，提高知识质量，完善知识类型，使得学生模型学习更加准确，优化模型压缩性能，有利于增强学生模型的泛化能力。