一种用于提升Logit知识蒸馏的预处理方法

本发明公开了一种用于提升Logit知识蒸馏的预处理方法，涉及计算机视觉和深度学习技术领域。本发明旨在解决传统知识蒸馏中存在的关键问题。在传统知识蒸馏中，采用固定温度将软标签从教师模型迁移至学生模型时，学生对每个样本的学习权重均相同，这极大地限制了学生模型性能的进一步提升。针对这一状况，本发明首先对教师模型与学生模型的输出进行处理，提高较高分数部分的值并降低较低分数部分的值，形成双向拉伸效果。然后利用Z‑score标准化方式，依据数据的均值与标准差，将数据转换为标准正态分布，从而实现教师模型与学生模型输出的精确匹配，以促进学生模型性能的优化。