模型蒸馏方法、装置、介质、设备以及计算机程序产品

本公开涉及一种模型蒸馏方法、装置、介质、设备以及计算机程序产品，方法包括：获取用于进行模型蒸馏的教师模型的词表和学生模型的词表；基于所述教师模型的词表和所述学生模型的词表，确定所述教师模型和所述学生模型对应的共享词表；基于所述共享词表，对所述教师模型和所述学生模型输出的概率分布分别进行转换，获得所述教师模型和所述学生模型分别对应的转换概率分布，所述转换概率分布为所述共享词表中的词对应的概率分布；基于所述教师模型对应的转换概率分布和所述学生模型对应的转换概率分布，确定所述学生模型的目标损失；基于所述目标损失对所述学生模型进行训练。