一种增强学生模型对抗鲁棒性的分层知识蒸馏方法、系统、设备及存储介质

本发明公开了一种增强学生模型对抗鲁棒性的分层知识蒸馏方法、系统、设备及存储介质，属于人工智能模型优化领域；包括构建分层级知识指导框架，利用分层级知识指导框架提取并传递知识给学生模型；起始特征融合学习机制，引入注意力机制为特征分配权重进行特征转换，优化学生模型的特征学习；自适应温度标准化Logit，从教师模型中提取Logit信息，并进行分布标准化处理，通过KL散度计算损失并优化学生模型的Logit学习；混合分层级知识指导框架；输出最终生成蒸馏后的学生模型；本发明通过解耦的方法聚合两种知识取得了更高的鲁棒性，并且不通过引入额外对抗扰动数据，保留了在干净样本上的高效识别率。