摘要
本发明涉及神经网络模型压缩技术领域,公开一种基于通道排序与动态正则化的模型压缩方法和系统,方法包括:对目标忆组神经网络中的卷积层的输入通道,进行排序并划分为多个通道组;确定每个通道组的初始可训练缩放因子,根据每个通道组的初始可训练缩放因子和权重矩阵,确定每个权重值的二进制表示;构建正则化损失函数;训练目标忆组神经网络,并基于正则化损失函数计算预测输出和期望输出的损失值;使用反向传播算法,计算损失函数值相对于目标忆组神经网络的可训练参数的梯度,并根据计算出的所述梯度,使用优化算法更新所述可训练参数的值,最终将压缩好的忆组神经网络部署到忆组阵列上,本发明能够在保证模型精度的前提下提升压缩率。
技术关键词
模型压缩方法
通道
传播算法
神经网络模型压缩技术
因子
动态
退火策略
参数
矩阵
分布直方图
模块
阵列
可读存储介质
程序
计算机
精度
系统为您推荐了相关专利信息
人推荐方法
情感特征
多模态
社交媒体平台
个性化推荐技术
图像识别系统
数据处理模块
船舶
图像去雾
图像采集模块