模型参数的量化方法、装置、计算设备及存储介质

AITNT
正文
推荐专利
模型参数的量化方法、装置、计算设备及存储介质
申请号:CN202510359693
申请日期:2025-03-24
公开号:CN120450078A
公开日期:2025-08-08
类型:发明专利
摘要
本申请提供了一种模型参数的量化方法、模型运行方法、装置、计算设备和存储介质。在对模型参数进行量化处理时,识别目标模型包括的层结构分别对应的异常通道,切换异常通道对应的参数在参数矩阵中的位置将参数矩阵切分为异常通道矩阵和非异常通道矩阵,对非异常通道矩阵进行参数量化处理,将不同参数矩阵之间的融合计算替换为,不同参数矩阵对应的整数型矩阵之间的融合计算,以及不同参数矩阵对应的异常通道矩阵之间的融合计算,尽可能充分利用计算硬件中更高效的整数计算单元加速推理,提高模型推理的效率,同时避免了异常参数在低比特整数型矩阵的运算中对整体计算精度的影响,保证了计算结果的准确性。
技术关键词
矩阵 参数 通道 模型运行方法 计算机程序产品 可读存储介质 处理器 存储器 样本 阶段 数据
系统为您推荐了相关专利信息
1
智能路面养护方案的自动生成方法及系统
注意力 网格 路面病害 环境监测数据 智能路面
2
集成地质建模和数值模拟代理模型的自动历史拟合方法
自动历史拟合方法 样本 神经网络单元 动态数据集 平滑算法
3
基于无人机摄影测量数据的渠道混凝土裂缝检测方法
渠道混凝土 裂缝检测方法 混凝土裂缝检测 GPS定位数据 局部搜索策略
4
一种基于FPGA的方波信号峰值采样方法
采样方法 采样点 数据处理模块 时钟倍频 数据存储
5
一种用于制作钻石贴纸的双层胶三层膜方法
三层膜 基底层 应力 PET膜 膜层结构
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号