摘要
本申请实施例提供了一种无数据知识蒸馏学习方法、装置、设备及存储介质,属于知识蒸馏技术领域。该方法包括:在当前迭代轮次下,基于当前迭代次数确定至少一个生成器损失权重并计算得到生成器损失值,利用生成器损失值对生成器参数进行调整,得到当前迭代轮次下训练好的更新生成器;基于当前迭代次数确定至少一个学生模型损失权重并计算得到学生模型损失值;利用学生模型损失值对学生模型参数进行调整,得到当前迭代轮次下训练好的更新学生模型;其中,生成器损失权重和学生模型损失权重均随迭代次数的增加呈整体动态增大的趋势;重复执行对生成器和学生模型的训练,直至迭代次数到达预设确定最后一迭代轮次得到的更新学生模型为目标学生模型。
技术关键词
学生
教师
蒸馏学习方法
样本
知识蒸馏技术
模型训练模块
可读存储介质
学习装置
电子设备
图像
处理器
动态
超参数
存储器
计算机
数据