一种大语言模型低比特权重和激活值的动态量化方法、系统及应用

本发明公开了一种大语言模型低比特权重和激活值的动态量化方法，所述动态量化方法包括如下步骤：步骤一、根据权重和激活值的不同分布特性选择量化数据类型，权重采用4比特正态浮点量化，激活值采用8比特动态树量化；步骤二、对4比特权重和8比特激活值生成量化目标编码，通过计算分位点和/或指数位长度，得到量化目标编码。在量化过程中还可以通过对待量化数据进行分块，并进行量化和/或反量化处理，对量化精度进行提升。本发明还公开了实现上述动态量化方法的动态量化系统，以及所述动态量化方法或系统的应用，具有广泛应用价值。