基于多层次注意力的自我回顾知识蒸馏方法、系统及终端

本发明涉及人工智能技术领域，公开了一种基于多层次注意力的自我回顾知识蒸馏方法、系统及终端。该方法利用学生模型和收敛后的教师模型，分别对样本集中的样本图片进行预测处理；获取教师模型和学生模型在每个处理阶段输出的特征图，据此计算教师模型和学生模型在每个处理阶段的注意力图。将学生模型在每个处理阶段的注意力图与前一处理阶段的注意力图进行特征融合，计算多层级注意力蒸馏损失。计算标准交叉熵损失和基本蒸馏损失；将三种损失加权得到总训练损失，据此进行梯度下降和反向传播，从而优化学生模型参数，随后利用样本集下一批次的样本图片对学习模型进行持续优化，直至学生模型收敛。本发明可有效提高学生模型的准确率。