一种模型蒸馏方法、装置及介质

本申请公开了一种模型蒸馏方法、装置及介质，该方法包括：获取教师模型的教师相似度矩阵，学生模型的学生相似度矩阵，以及表征教师模型与学生模型相似度排序差异的排序差异矩阵；教师模型的计算精度高于学生模型。根据教师相似度矩阵构造对比学习样本对，并根据排序差异矩阵构造排序差异样本对；基于对比学习样本对和排序差异样本对构建蒸馏损失函数；通过蒸馏损失函数对学生模型进行迭代训练，得到目标学生模型。由此，基于教师模型构造对比学习样本对和排序差异样本对，构建蒸馏损失函数，并通过该蒸馏损失函数对学生模型进行迭代训练，使得学生模型可以学习教师模型的知识，提升学生模型准确性，从而实现同时兼顾计算效率和计算准确性。