摘要
本申请提供的一种基于动态敏感度的扩散模型混合精度量化方法、装置和电子设备,包括设置位宽指示器以及设置量化参数,位宽指示器表示各层中的权重位宽和激活位宽之间的组合,量化参数包括缩放因子和零点值;基于最小化全精度网络和各预设位宽下的量化网络之间的输出差异,优化多位宽下的量化参数;基于权重量化过程中的缩放因子和在激活量化过程中的缩放因子的加权和,得到任意层在各时间步上的量化敏感度;在给定资源约束下,最小化所有时间步上各层敏感度之和,得到自适应位宽配置策略,并得到混合精度的量化扩散模型,能够根据扩散模型在去噪时间步上的量化敏感度动态调整网络层的比特宽度分配,从而能够更好地适应去噪过程中的敏感性变化。
技术关键词
动态敏感度
整数线性规划模型
精度
指数衰减函数
因子
表达式
度量
网络
指示器
指标
策略
电子设备
处理器通信
资源
超参数
存储器
模块
系统为您推荐了相关专利信息
BERT模型
数据格式
多模态
自定义组件
模型库
驱动检测电路
比例阀
AD采样
驱动芯片
负载开关
液力变矩器
神经网络模型
测试方法
数据采集单元
可读存储介质
燃烧室
参数优化方法
仿真模型
响应面模型
数学模型