检测模型的知识蒸馏方法、装置、机器人及程序产品

本申请公开了一种检测模型的知识蒸馏方法、装置、机器人及计算机程序产品。教师模型具备更大的架构和更多参数，因而在性能和特征提取能力上更强。为充分发挥其优势，该知识蒸馏方法通过扩展第二样本的尺度，以基于第一样本训练教师模型，最大化其特征提取能力。随后，将第一样本输入教师模型，同时将第二样本输入架构较小、参数更少的学生模型，通过知识蒸馏技术，让学生模型能够有效学习教师模型的知识。具体而言，利用教师模型对第一样本的知识表示与学生模型对第二样本的学习表示，计算总损失函数，并通过迭代优化学生模型，使其逐步接近教师模型的复杂知识表达。最终，得到一个性能接近教师模型、但更轻量化且资源占用更少的学生模型，为模型在资源受限环境中的部署提供新思路，提高模型在移动设备、嵌入式系统等场景下的适用性。