大语言模型压缩方法、装置、设备及存储介质

本公开涉及人工智能技术领域，尤其涉及一种大语言模型压缩方法、装置、设备及存储介质。所述方法包括：对大语言模型的各个线性层的权重进行聚类，得到多个聚类中心；对于每个所述权重，计算所述权重与目标聚类中心之间的残差，并对所述残差进行分解，得到分解残差，其中所述目标聚类中心为距离所述权重最近的聚类中心；根据所述多个聚类中心和每个所述权重的分解残差，对所述大语言模型进行压缩。本公开实施例通过对各个线性层的权重采用聚类和残差处理，实现对大语言模型权重的高效压缩，同时尽可能保持模型的性能。