一种基于长距离依赖关系和零样本生成的模型量化方法

AITNT
正文
推荐专利
一种基于长距离依赖关系和零样本生成的模型量化方法
申请号:CN202411508835
申请日期:2024-10-28
公开号:CN119360183A
公开日期:2025-01-24
类型:发明专利
摘要
本发明公开了一种基于长距离依赖关系和零样本生成的模型量化方法,包括以下步骤:步骤1、构建合成数据生成网络;步骤2、将标准高斯噪声输入合成数据生成网络进行训练直至合成数据生成网络的损失收敛,得到合成数据;步骤3、将合成数据作为校准数据对目标图像分类模型进行后训练量化,得到量化模型;接着,以量化模型结合全精度模型构建蒸馏网络;然后,将合成数据输入所述蒸馏网络进行训练直至蒸馏网络的损失收敛,以微调其中的量化模型,得到微调后的量化模型。本发明提升了量化模型对各类数据的泛化性,可以将常见的图像分类模型压缩量化,并在广泛使用的图像数据集上表现出卓越的量化性能。
技术关键词
图像分类模型 蒸馏 网络 样本 图像全局特征 关系 精度 校准 数据分布 噪声 教师 超参数 学生 像素点 模块 偏差
系统为您推荐了相关专利信息
1
一种地理信息数据处理方法
编码 参数 智能优化算法 样本 地理信息数据处理
2
图像分类方法、设备、存储介质及程序产品
图像分类模型 全局平均池化 图像分类方法 池化算法 分区
3
一种矿山边坡巡检机器人
矿山边坡 巡检机器人 旋转关节 机械支撑臂 安装底板
4
一种基于大模型的大气镉沉降通量预测方法及系统
随机森林模型 指标 归一化植被指数 数据获取模块 分层
5
一种基于道路网络的城市纹理分析与预测方法
纹理 时空分析技术 时空序列数据 神经网络架构 线性
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号