知识蒸馏方法及装置、电子设备、存储介质及程序产品

本公开提供了一种知识蒸馏方法及装置、电子设备、存储介质及程序产品，涉及人工智能技术领域，具体涉及多模态人工智能和数据处理。该方法包括：基于与目标行业关联的样本数据集和微调参数后的教师模型的特征编码层，从开放域数据集中筛选出候选样本数据集，与目标行业关联的样本数据集的数据量小于开放域数据集的数据量；基于学生模型和微调参数后的教师模型，针对候选样本数据集中各候选样本数据的蒸馏损失，确定各候选样本数据的学习价值程度，并基于各学习价值程度的大小确定出蒸馏训练样本数据；基于蒸馏训练样本数据训练学生模型。该方案可以在快速构建出高质量训练样本集的同时降低数据筛选过程中的推理计算开销，有助于提升知识蒸馏效果。