一种基于PID控制器的知识蒸馏温度参数动态调整方法

本发明提供了一种基于PID控制器的知识蒸馏温度参数动态调整方法，应用于深度学习领域。针对现有知识蒸馏技术中温度参数固定、难以适应模型性能变化的问题，本发明采用PID控制器实时调整温度参数，动态平衡学生和教师模型间的KL散度和交叉熵损失。通过比例‑积分‑微分控制策略，自动调节蒸馏过程中的温度参数增强模型适应性，提升蒸馏效率及学生模型泛化能力。主要步骤包括：实时监控损失差异、利用PID控制器计算温度调整量、动态更新温度参数以平衡蒸馏损失，以及自动化调整减少人工调参，提高模型性能。本方法主要用于自动化调整知识蒸馏的温度参数，减少手动调参，提高模型性能，适用于多种深度学习模型和数据集，具有广泛的应用价值。