摘要
本申请涉及模型处理领域,特别是涉及一种基于重参数化模型训练方法、装置、设备和介质,方法包括:对待训练模型进行超参数搜索,确定待训练模型的卷积权重额外缩放因子;对待训练模型进行重参数化,得到重参数模型;基于卷积权重额外缩放因子对重参数模型进行模型训练得到目标模型;目标模型能够进行模型量化处理。本申请的训练方法对重参数模型量化比较友好是在于量化前后的模型结构不变,量化可以针对性进行优化。本申请在模型训练前将模型的多分支结构重参数化为单分支结构,训练过程中注入多分支结构的先验信息即卷积权重额外缩放因子,训练完成后再进行量化,减少了量化的中间过程,减少了由于中间过程产生的误差,对于量化的精度损失更少。
技术关键词
因子
模型训练方法
超参数
多分支结构
模型训练装置
可读存储介质
电子设备
处理器
存储器
计算机
标签
代表
模块
样本
误差
精度
系统为您推荐了相关专利信息
图像分析软件
表征方法
高斯分布模型
孔隙结构
岩石铸体薄片
机器学习分类模型
葡萄酒
甲硫基丙醇
鉴别方法
模型训练模块
计数方法
无人机
特征提取能力
检测头
多级特征融合
加氢反应器
残差模型
残差预测
LSTM模型
计算机可读指令
PID控制器
动态温度环境
深度学习模型
学生
知识蒸馏技术