一种大型语言模型的权重压缩处理系统及装置

本发明提供了一种大型语言模型的权重压缩处理系统及装置，涉及大型语言模型技术领域，系统主要包括：离群值加载模块、第一缓存模块、离群值分发模块、压缩系数加载模块、第二缓存模块、第一系数分发网络模块、查找表阵列模块、第二系数分发网络模块、定点运算阵列模块、第二缓存阵列模块、浮点运算阵列模块、第三系数分发网络模块、输入矩阵加载模块、第一缓存阵列模块及输入分发网络模块。本方案可以有效支持各种权重压缩方法，可以有效减少中间结果的搬运量及数据吞吐量，可以有效降低系统功耗，进而能够适应端侧大型语言模型的应用需求。