模型量化方法、装置、设备、介质及计算机程序产品

本发明提供一种模型量化方法、装置、设备、介质及计算机程序产品，所述方法包括：基于获取的待处理模型的权重信息，确定权重矩阵；基于所述权重矩阵，确定所述待处理模型的权重块数据和代码本数据；基于所述权重块数据和所述代码本数据，对所述权重块进行迭代量化，得到量化模型；对所述待处理模型和所述量化模型进行困惑度对比，得到模型量化结果。本发明提供的模型量化方法可以减少大语言模型的存储空间和需求计算资源，提高模型的推理速度和效率，从而在资源受限的环境下，实现模型的高效部署和推理。