一种大语言模型量化方法、装置及电子设备

本发明实施例公开了一种大语言模型量化方法及电子设备。方法包括：输入待量化的大语言模型；指定待量化的大语言模型的位置，运行权重平滑处理脚本对待量化的大语言模型进行权重平滑处理，得到新模型；对所述新模型进行标准量化处理，得到int8量化模型或int4量化模型。与现有技术相比，本发明实施例所提供的大语言模型量化方案，在无需校准的情况下对weight进行平滑，使weight的分布更加均匀，量化起来更加容易。使用本发明量化之后的模型效果均与AWQ和SmoothQuant的量化效果相当，但是方法更加简单便捷，部署更加高效。