一种基于自适应知识蒸馏的代码生成模型训练方法

本发明公开了一种基于自适应知识蒸馏的代码生成模型训练方法，该方法包括获取并格式化训练数据集，输入模板至生成器模型以产生预测结果，随后对学生模型和教师模型的输出结果进行软化处理，利用Softmax函数结合温度参数T获取概率分布。通过归一化处理得到归一化逻辑值，结合反向和正向KL散度，计算出自适应知识蒸馏损失函数，使用dam优化算法更新学生模型参数，并在每次参数更新后进行前向传递，评估模型的预测输出和损失值，确保训练的收敛性和稳定性。本发明还提供了详细的计算公式和模板内容，确保了方法的可实施性和有效性。通过本方法，可以显著提升模型在资源受限设备上的性能，同时保持高效的本地部署能力。