神经网络缩放因子的层次结构

本公开的发明名称是“神经网络缩放因子的层次结构”。本文中描述的实施例提供了在将神经网络数据量化为缩减位表示时便于分层缩放的技术。该技术包括以下操作：加载与神经网络相关联的张量的分层缩放图；基于分层缩放图将张量分区成多个区域，所述多个区域分别包括一个或多个子区域；经由矩阵加速器电路模块基于第一缩放因子和第二缩放因子来分层缩放张量的数值，第一缩放因子基于所述多个区域中的区域内的数值的子区域的统计度量，并且第二缩放因子基于包括该子区域的该区域的统计度量；以及经由分层缩放数值的量化来生成张量的量化表示。