一种增强特征表达能力的自知识蒸馏方法

AITNT
正文
推荐专利
一种增强特征表达能力的自知识蒸馏方法
申请号:CN202410873236
申请日期:2024-07-01
公开号:CN118865438A
公开日期:2024-10-29
类型:发明专利
摘要
本发明公开了一种增强特征表达能力的自知识蒸馏方法,该方法充分利用了金字塔结构的优势,通过在不同层级上引入子网络进行蒸馏,实现了对目标网络特征信息的全面精炼。这种设计使得深层特征的表现得到了大幅提升,同时保留了浅层特征的表征能力,从而提高了目标网络的整体性能。本发明进行了大量的对比实验和消融实验。实验结果表明,本方法在提高特征表达能力上具有显著优势,其性能超过了许多经典的蒸馏算法。
技术关键词
知识蒸馏方法 网络特征 金字塔结构 标签 特征值 通道 参数 层级 学生 矩阵 代表 算法 尺寸
系统为您推荐了相关专利信息
1
一种基于合成数据生成的无监督深度学习方法
监督深度学习方法 原始图像数据 深度神经网络模型 图像数据生成器 样本
2
一种绿通车辆追踪方法及系统
车辆追踪方法 路侧设备 神经网络模型 车载单元 路径地图
3
一种合同综合风险预测方法、系统及计算机设备
合同文本数据 风险预测方法 最大化算法 标签 上下文特征
4
一种表单处理方法及相关装置、设备和存储介质
标签 表单 元素 关系 大语言模型
5
账户异常的确定方法及装置、存储介质、电子设备
语音特征 账户 账号 标签数据库 异常数据
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号