一种对比增强表征标准化蒸馏算法

本发明公开了一种对比增强表征标准化蒸馏算法，通过对教师网络和学生网络的输出特征进行Z‑score标准化和极差标准化处理，并步利用样本对之间的差异来促进学习，建立新的损失并将其整合到CRD Loss中。本发明结合表征标准化技术和CERND损失函数，在多个基准数据集上进行了实验验证，展现出优于传统对比表征蒸馏算法和其他先进知识蒸馏方法的性能；本发明可解决现有技术中因大量负样本对引发的信息冗余问题，可提升了蒸馏效果，实现有效的模型压缩；而在模型压缩后，学生网络的性能可以更接近甚至超过教师网络的性能，从而满足在资源有限设备上部署复杂模型的需求。