模型量化方法、装置、相关设备及计算机程序产品

本申请公开了一种模型量化方法、装置、相关设备及计算机程序产品，本申请考虑到模型内部不同层级对量化的敏感度可能不同，为了实现更优的量化策略，并非以整个目标模型作为量化粒度，而是以目标模型的每一层作为量化粒度，根据每一层的权重和激活的数值大小，确定每一层的量化目标，进而可以按照每一层的量化目标，分别对目标模型中的每一层进行量化处理。本申请对于目标模型的每一层均确定与之匹配的量化目标，使得每一层能够按照更加匹配的量化目标进行量化处理，相比于传统方案对整个模型采用同一量化目标进行处理，本申请方案的量化策略更加优异，能够更好的平衡量化后模型的参数量及计算精度，提升模型量化的效果。