摘要
本发明公开了一种基于神经网络权重分布的子区间量化方法及装置,涉及权重量化领域,包括:获取神经网络中待量化的权重数据,并统计其分布特征;根据所述权重数据的分布特征,将其划分为多个子区间;基于均方误差最小原则,对每个子区间的范围进行微调;为每个子区间确定量化参数,对所述权重数据进行量化,所述量化参数包括缩放因子和零点偏移量。主要技术方案和效果:充分利用了权重数据在训练后呈现近似正态分布、中心密集、两侧快速衰减的统计特性。通过基于数据分布进行子区间划分,克服了传统方法在数据分布不均匀、尤其是多模态分布下精度损失严重的缺陷。
技术关键词
均方误差最小原则
分布特征
端点
参数
数据分布
概率分布函数
概率密度函数
因子
迭代算法
统计方法
浮点数
直方图
变量
定义
精度
关系
系统为您推荐了相关专利信息
高压MOS器件
闪烁噪声模型
闪烁噪声特性
电流
电压
驱动控制器
可视化界面
教学系统
人工智能教学
切换运行模式
高压真空断路器
故障检测系统
故障诊断方法
时空分布特征
时序特征