模型量化方法、装置、电子设备、存储介质及程序产品

AITNT
正文
推荐专利
模型量化方法、装置、电子设备、存储介质及程序产品
申请号:CN202410826506
申请日期:2024-06-25
公开号:CN118657179A
公开日期:2024-09-17
类型:发明专利
摘要
本发明实施例公开了一种模型量化方法、装置、电子设备、存储介质及程序产品,方法包括:根据待量化模型的模型拓扑结构获取待量化模型的待分类算子;对待分类算子按照第一算子分类规则进行分类,得到第一分类算子;对第一分类算子进行量化处理,得到第一分类算子的量化误差;根据第一分类算子的量化误差从第一分类算子中筛选第一目标非量化算子;根据待量化模型的待分类算子和第一目标非量化算子确定待量化模型的待量化算子,并对待量化算子进行量化处理。本发明实施例的技术方案能够提高模型量化的效率,从而保证模型的推理速度和精度,减少模型对内存和带宽的需求,实现硬件高效的推理计算,并提高模型上线应用的效率。
技术关键词
量化误差 模型拓扑结构 分类规则 电子设备 可读存储介质 计算机程序产品 处理器通信 指令 模块 存储器 内存 精度 速度
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号