一种用于ViTs的逐图像块后训练量化方法及系统

AITNT
正文
推荐专利
一种用于ViTs的逐图像块后训练量化方法及系统
申请号:CN202510033307
申请日期:2025-01-09
公开号:CN119445127B
公开日期:2025-05-02
类型:发明专利
摘要
本发明涉及人工智能技术领域,具体公开了一种用于ViTs的逐图像块后训练量化方法及系统,方法包括:获取全精度Vision transformer预训练模型、校准数据和量化器;将预训练模型中的全部模块替换为对应的量化模块,得到待量化的ViTs模型,所述量化模块中包括激活值和权重的量化器,所述激活值采用逐图像块均匀量化器;利用所述校准数据,计算得到各量化器的缩放因子和零点偏移的初始值;利用校准数据和预训练模型,对缩放因子进行迭代优化,得到量化后的ViTs模型。本发明允许每个图像块享有独立的量化参数,极大提升了量化分辨率并且使量化的激活值具有更强的表征能力。
技术关键词
量化器 图像块 因子 校准 编码模块 注意力 精度 数据 量化系统 人工智能技术 矩阵 线性 样本 分辨率 度量 元素 误差 通道
系统为您推荐了相关专利信息
1
一种融合仿真试验设计的承力结构自然贮存可靠性评估方法
可靠性评估方法 退化模型 响应面模型 响应面建模 输入输出关系
2
分类模型的训练方法、装置、设备、存储介质和程序产品
分类子模型 数据 图像像素 图像块 解码器
3
滚石冲击明洞衬砌结构损伤评估体系构建方法及应用
明洞衬砌结构 体系构建方法 三维有限元模型 指标 混凝土拱形结构
4
基于聚类处理的大气污染立体监测方法及系统
立体监测方法 监测点 聚类 风险 高斯核函数
5
基于非线性重构和随机图像块取优的水下扭曲图像复原方法
图像复原方法 非线性 轨迹误差 重构 运动向量场
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号