基于β散度与软近似映射的深度神经网络量化方法和系统

本发明公开了一种基于β散度与软近似映射的深度神经网络量化方法和系统。本发明对网络每个批次的输入数据进行动态分布统计获取数据分布信息，引入AIC作为分布拟合优度的评价指标，在正态、Laplace与广义高斯等多种分布模型中动态选择最优拟合分布，精确确定最佳的量化区间；接着构建可导的软舍入近似函数，设计动态斜率调节机制，根据每一层激活输出的方差自适应调整映射函数斜率参数，使其在不同分布状态下实现量化与精度的动态平衡。在网络训练完成后，记录原始浮点数权重，进行对称量化得到8比特有符号位整数权重，并使用改进的β散度度量量化前后权重分布的差异，在重训练阶段引导量化权重逼近原始浮点权重分布，从而缩小量化误差。