一种结合多层次知识蒸馏的查重小语言模型训练方法

本发明实施例提供了一种结合多层次知识蒸馏的查重小语言模型训练方法，该方法包括：获取查重样本对，并根据查重样本对的文本特征，确定查重样本对的复杂度；根据查重样本对的复杂度，确定教师模型的蒸馏层级，以及，确定教师模型的每个蒸馏层级的加权系数；根据教师模型的每个网络蒸馏的加权系数、教师模型的每个蒸馏层级的第一输出结果，以及学生模型的每个蒸馏层级的第二输出结果，确定教师模型与学生模型之间的蒸馏损失；根据教师模型与学生模型之间的蒸馏损失，对学生模型的参数进行更新；重复上述步骤，直至更新后的学生模型满足预设条件，则将更新后的学生模型作为查重小语言模型，从而实现了低功耗、高精度的查重效果。