一种用于Vision Transformer神经网络的量化方法

本发明公开了一种用于Vision Transformer神经网络的高效量化方法，其包括S1、采用图像分类数据集对Vision Transformer神经网络进行训练，得到全精度模型；S2、在图像分类数据集的训练集中随机选取预设数量的图片输入全精度模型，统计模型每一层的权重和激活值的最大值和最小值，作为量化范围；S3、根据每层权重和激活值的量化范围，分别对对应层的权重和激活值进行非对称量化；S4、对Softmax后的激活值进行基于海森矩阵的双粒度量化，对层归一化层激活值进行基于通道优化的尺度重参数化量化，得到量化后的神经网络模型。