摘要
本发明涉及人工智能技术领域,具体公开了一种用于ViTs的逐图像块后训练量化方法及系统,方法包括:获取全精度Vision transformer预训练模型、校准数据和量化器;将预训练模型中的全部模块替换为对应的量化模块,得到待量化的ViTs模型,所述量化模块中包括激活值和权重的量化器,所述激活值采用逐图像块均匀量化器;利用所述校准数据,计算得到各量化器的缩放因子和零点偏移的初始值;利用校准数据和预训练模型,对缩放因子进行迭代优化,得到量化后的ViTs模型。本发明允许每个图像块享有独立的量化参数,极大提升了量化分辨率并且使量化的激活值具有更强的表征能力。
技术关键词
量化器
图像块
因子
校准
编码模块
注意力
精度
数据
量化系统
人工智能技术
矩阵
线性
样本
分辨率
度量
元素
误差
通道
系统为您推荐了相关专利信息
可靠性评估方法
退化模型
响应面模型
响应面建模
输入输出关系
明洞衬砌结构
体系构建方法
三维有限元模型
指标
混凝土拱形结构