多教师知识蒸馏方法和系统

AITNT
正文
推荐专利
多教师知识蒸馏方法和系统
申请号:CN202510779727
申请日期:2025-06-11
公开号:CN120911544A
公开日期:2025-11-07
类型:发明专利
摘要
提供一种多教师知识蒸馏方法和系统。该方法包括:根据已训练好的教师模型构建过渡模型和学生模型,并建立教师模型、学生模型和过渡模型的特征层的对应关系;将训练样本输入给教师模型,以输出预测结果;使用训练样本训练过渡模型;使用训练样本训练学生模型;使用调度器调节对学生模型的训练,其中,调节学生模型从向过渡模型学习逐步转向从教师模型学习,由此学生模型可通过过渡模型逐步学习教师模型的能力,避免了离线蒸馏中常见的学生模型难以有效学习教师模型能力的问题。
技术关键词
知识蒸馏方法 教师 学生 调度器 模型训练模块 人工智能芯片 语义分割模型 掩膜矩阵 蒸馏系统 处理器 注意力机制 离线 可读存储介质 关系 存储器 像素点
系统为您推荐了相关专利信息
1
一种基于多层注意力机制的学生毕业去向预测方法
毕业去向预测方法 多层注意力机制 节点 邻居 焦点损失函数
2
基于微震定位的围岩失稳预测方法、系统、设备及介质
卷积长短期记忆 二维图像数据 失稳预测方法 网格 神经网络模型训练
3
基于实时视觉Transformer的电厂工人安全帽与安全服智能检测方法及系统
工人安全帽 智能检测方法 正确佩戴安全帽 视觉 智能检测系统
4
光伏硅片缺陷检测方法、装置、计算机设备和存储介质
硅片缺陷检测方法 特征融合网络 花篮 图像 硅片缺陷检测装置
5
基于卷积模块学习注意力权重的轻量运动规划方法及模型
感知特征 运动规划方法 轨迹特征 卷积模块 注意力解码
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号