基于类关系的二维规范化知识蒸馏方法、系统及终端

本发明涉及人工智能技术领域，公开了一种基于类关系的二维规范化知识蒸馏方法、系统及终端。该方法将训练集批次内样本分别输入至教师模型和学生模型，获取教师模型和学生模型各自最后隐藏层的输出即教师logits和学生logits；对教师logits和学生logits中的每个logit分别进行类间维度规范化修正和类内维度规范化修正，根据修正结果计算类间规范化损失和类内规范化损失；将学生logits与样本的原始真实标签进行训练，计算分类损失；加权得到总训练损失，基于所述总训练损失进行梯度下降和反向传播，从而优化学生模型参数，随后利用训练集下一批次的样本对学习模型进行持续优化，直至学生模型收敛。本发明可提高logit知识蒸馏的精度和训练效率。