大模型动态知识蒸馏方法及系统

本发明实施例提供一种大模型动态知识蒸馏方法及系统，属于大模型动态知识蒸馏领域；该方法包括获取问答对数据集，使用所述学生模型对所述训练输入问答对进行编码，生成第一软标签；执行蒸馏，再次使用所述学生模型对所述训练输入问答对进行编码，生成第二软标签；计算所述学生模型的预测不确定值和区分能力；动态调整蒸馏强度权重和蒸馏温度值；迭代执行训练所述学生模型的过程，直至所述学生模型的性能指标达到预设阈值，完成动态知识蒸馏。本发明通过动态调节蒸馏参数，提高了模型输出稳定，降低了模糊样本的噪声，并且在解读类任务中使类别边界混淆率下降，提升了复杂语义的泛化能力。