摘要
本发明涉及一种基于双生成器以及两步训练的无数据神经网络模型量化方法。本发明的方法包括基于预设量化位宽对全精度神经网络模型的参数进行量化,获取量化神经网络模型;利用第一生成器生成的伪样本输入全精度神经网络模型后获得输出对第一生成器的网络参数进行优化;利用优化后的第一生成器生成的伪样本以及第二生成器生成的伪样本之和输入全精度神经网络模型和量化神经网络模型后获得的输出对量化神经网络模型和第二生成器的参数进行更新;利用优化后的第一生成器生成的伪样本输入全精度神经网络模型和参数更新后的量化神经网络模型后获得的输出计算其对参数更新前的量化神经网络模型的参数进行更新。本发明的方法能够在无数据的情况下对多种神经网络模型进行高效压缩并保持其相对性能。
技术关键词
精度
样本
参数
生成器网络
代表
数据
训练神经网络模型
标签
神经网络训练
中间层
算法
噪声
线性
注意力
元素
关系
通道
系统为您推荐了相关专利信息
机器人远程控制方法
机器人远程控制系统
人形机器人
视频流传输
视觉
智能控制点胶方法
特征提取模型
实时数据
波动特征
生成控制指令
流道
激光选区熔化成形
三维模型
磨粒流抛光
贮箱箱体
多任务神经网络
智能优化系统
激光熔覆工艺
水轮机
覆层