一种模型量化方法、装置、电子设备及存储介质

AITNT
正文
推荐专利
一种模型量化方法、装置、电子设备及存储介质
申请号:CN202411873806
申请日期:2024-12-18
公开号:CN119337045B
公开日期:2025-04-01
类型:发明专利
摘要
本申请实施例提供了一种模型量化方法、装置、电子设备及存储介质,涉及深度学习技术领域。方法包括:获取原始模型中待量化网络层的待量化权重矩阵;将待量化权重矩阵中各权重分为多个权重组;计算各权重组对应的第一模型损失;按照对应的第一模型损失从大到小的顺序确定当前待处理的权重组;以当前待处理的权重组对应的第二模型损失最小为优化目标,基于目标量化格式确定当前待处理的权重组的目标量化结果;按照对应的第一模型损失从大到小的顺序确定当前待处理的权重组,直至得到各权重组的目标量化结果;基于各权重组的目标量化结果得到量化后的目标模型。如此可以对原始模型进行量化,且量化后的目标模型的模型损失较小。
技术关键词
校正 格式 矩阵 计算机程序产品 深度学习技术 电子设备 可读存储介质 算法 模块 比特数 存储器 数据 通道 处理器 数值 平台
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号