基于知识蒸馏的模型训练方法、装置、电子设备与可读存储介质

本公开提供一种基于知识蒸馏的模型训练方法、装置、电子设备及可读存储介质，涉及深度学习、计算机视觉、大语言模型等人工智能技术领域。其中，基于知识蒸馏的模型训练方法包括：根据目标任务确定目标领域，获取与所述目标领域对应的目标教师模型；根据所述目标教师模型中的教师骨干网络进行知识蒸馏，训练初始学生骨干网络，得到目标学生骨干网络；根据所述目标学生骨干网络以及与所述目标任务对应的目标头部网络，得到与所述目标任务对应的目标学生模型。本公开一方面有效地提升了目标学生骨干网络在针对目标任务进行特征提取时的性能，另一方面能够简化目标学生模型的获取步骤，提升目标学生模型的获取效率。