一种自适应位宽的混合精度量化方法和系统

本申请提供一种自适应位宽的混合精度量化方法和系统，方法包括：为模型中各个模块分别配置具有可变位宽的量化器；设定每个模块的损失函数及其上界和下界；根据所述损失函数的数值与所述上界、下界的对比情况，逐模块自动调整对应的所述量化器的位宽，得到混合精度的模型。本申请采用了基于模块特性差异的自适应精度分配技术方案，通过动态感知各子模块在网络结构中的重要性、数值分布以及抗量化扰动能力，为不同模块精准分配适配的量化位宽，带来了在不显著增加整体计算资源开销的前提下，充分释放模型压缩潜力的技术效果。