一种增强知识蒸馏方法、系统及存储介质

本发明涉及深度学习模型压缩与优化技术领域，尤其涉及一种增强知识蒸馏方法、系统及存储介质。所述方法包括：获取目标类别和非目标类别，并将所述非目标类别划分为混淆类别和非混淆类别；对混淆类别和非混淆类别进行损失计算，将得到的混淆类别知识蒸馏损失和非混淆类别知识蒸馏损失的加权和作为非目标类别知识蒸馏损失；对全部类别进行全局稀疏预测并进行损失计算，将目标类别知识蒸馏损失、非目标类别知识蒸馏损失和全局稀疏预测知识蒸馏损失的加权和作为增强知识蒸馏的综合损失；通过迭代训练最小化综合损失，实现增强知识蒸馏。旨在解决现有知识蒸馏方法在处理非目标类别时未充分考虑类别间相似性以及缺乏冗余信息去除的技术问题。