摘要
本申请提出一种基于扩散模型生成数据的模型量化方法以及装置,其中,方法包括:获取高斯分布的数据集采样样本;基于高斯分布的数据集采样样本和待量化模型,通过扩散模型生成伪训练数据;扩散模型采用UNet网络结构作为核心架构,UNet网络结构的编码器后端加入多头注意力机制,多头注意力机制用于建立特征图中各元素间的关联关系,以使UNet网络结构的感受野为整个图像;通过伪训练数据对待量化模型进行模型量化处理,得到低比特量化模型。以实现无训练数据的模型量化。
技术关键词
低比特量化
多头注意力机制
网络结构
计算机执行指令
数据
样本
搜索算法
噪声
编码器
可读存储介质
计算机程序产品
关系
处理器通信
采样模块
存储器
核心
元素
图像