基于多损失函数组合与TOP-K的知识蒸馏方法及装置

本发明提出一种基于多损失函数组合与TOP‑K的知识蒸馏方法和装置，包括将训练文本分别输入教师模型和学生模型执行文本翻译任务，得到教师概率分布和学生概率分布；保存该教师概率分布中K个最高的概率值及其对应的类别，并将其余类别对应的概率置零，得到TOP‑K概率分布；基于该学生概率分布和该TOP‑K概率分布的差异，构建多个损失函数，训练该学生模型；将该训练文本输入训练后的学生模型，得到该学生模型的性能指标，根据该性能指标判断是否继续训练该学生模型，若是，则再次执行该初始步骤，否则保存当前学生模型作为翻译模型，将待翻译的文本数据输入该分类模型，得到翻译结果。