摘要
一种适用于边缘设备的无需重训练量化领域自适应方法,包括:通过多量化位宽搜索确定最优量化位宽,构建域判别器以减少源域和目标域之间的特征分布差异,并利用量化网络中参数最多且量化位宽最大的子网生成伪标签。对量化网络进行初步训练,评估各量化子网的收敛速度和训练难易程度。在子网训练阶段,根据预训练结果对子网进行分组,实施差异化训练策略,其中收敛速度慢的子网获得更多训练资源。采用知识蒸馏技术,由收敛速度快的子网组向收敛速度慢的子网组传递知识,以加速学习过程并实现性能提升;有效提高了模型的推理速度,减少了推理开销,在减少计算量的前提下提高了分类准确率,为边缘设备上的深度学习模型部署提供了高效解决方案。
技术关键词
分类准确率
网络
标签方法
速度
知识蒸馏技术
数据
置信度阈值
深度学习模型
多层感知机
计算机程序产品
预测类别
参数
策略
阶段
分辨率
资源
教师
学生
系统为您推荐了相关专利信息
网络安全态势评估模型
网络安全攻击
网络安全态势预测
多维时序数据
深度神经网络
大功率功放组件
放大器芯片
功率放大模块
功放模块
微带过渡结构
机械臂控制方法
力反馈模块
机械臂控制装置
强化学习算法
卡尔曼滤波算法
语义向量
字符
随机噪声
生成对抗网络
恶意域名检测