摘要
本说明书提供一种模型训练方法、装置、电子设备和存储介质,所述方法包括:将训练数据分别输入至教师模型、辅助模型和学生模型,所述教师模型是已训练的。教师模型对训练数据进行特征提取,并将提取的教师中间特征传递至所述辅助模型。所述辅助模型对所述训练数据进行特征提取,并将提取的辅助中间特征传递至所述学生模型;以及,基于第一损失函数训练所述辅助模型,所述第一损失函数包括所述辅助中间特征与所述教师中间特征之间的第一特征蒸馏损失。所述学生模型对所述训练数据进行特征提取,得到学生中间特征;以及,基于第二损失函数训练所述学生模型,所述第二损失函数包括所述学生中间特征与所述辅助中间特征之间的第二特征蒸馏损失。
技术关键词
教师
学生
蒸馏
模型训练方法
模型训练模块
数据输入模块
模型训练装置
层级
电子设备
特征提取模块
处理器
可读存储介质
文本
视觉
存储器
标签
程序
计算机
系统为您推荐了相关专利信息
机器学习模型
多元线性回归模型
地基激光雷达
星载激光雷达
学习器
三维模型
教学平台
实训模块
在线协作
硬件控制电路