摘要
提供一种多教师知识蒸馏方法和系统。该方法包括:根据已训练好的教师模型构建过渡模型和学生模型,并建立教师模型、学生模型和过渡模型的特征层的对应关系;将训练样本输入给教师模型,以输出预测结果;使用训练样本训练过渡模型;使用训练样本训练学生模型;使用调度器调节对学生模型的训练,其中,调节学生模型从向过渡模型学习逐步转向从教师模型学习,由此学生模型可通过过渡模型逐步学习教师模型的能力,避免了离线蒸馏中常见的学生模型难以有效学习教师模型能力的问题。
技术关键词
知识蒸馏方法
教师
学生
调度器
模型训练模块
人工智能芯片
语义分割模型
掩膜矩阵
蒸馏系统
处理器
注意力机制
离线
可读存储介质
关系
存储器
像素点
系统为您推荐了相关专利信息
毕业去向预测方法
多层注意力机制
节点
邻居
焦点损失函数
卷积长短期记忆
二维图像数据
失稳预测方法
网格
神经网络模型训练
工人安全帽
智能检测方法
正确佩戴安全帽
视觉
智能检测系统
硅片缺陷检测方法
特征融合网络
花篮
图像
硅片缺陷检测装置
感知特征
运动规划方法
轨迹特征
卷积模块
注意力解码