摘要
本申请公开了一种模型训练方法、装置、非易失性存储介质及电子设备。其中,该方法包括:在教师模型的训练过程中,依据教师模型的输出预测结果和训练数据的真实标签确定目标预测结果,其中,训练数据包括文本数据;依据目标预测结果调整教师模型的参数;在教师模型训练完成后,依据训练完成后的教师模型对学生模型进行训练,并确定训练完成后的学生模型为部署到终端设备的目标模型,其中,学生模型的模型参数少于教师模型的模型参数。本申请解决了由于相关技术中对教师模型进行训练时需要的数据量过大导致的在训练数据较少时教师模型训练效果较差,知识蒸馏效率低的技术问题。
技术关键词
模型训练方法
非易失性存储介质
教师
硬件配置信息
终端设备
学生
超参数
标签
数据
模型训练装置
电子设备
文本
计算机程序产品
处理器
存储器
模块
蒸馏
系统为您推荐了相关专利信息
多模态
交叉注意力机制
核查方法
模型训练方法
编码模块
故障预测模型
故障预测方法
历史运行数据
决策
设备故障模式
公共连接点电压
母线
等效系统
非易失性存储介质
端系统