一种大语言模型压缩系统

本发明公开了一种大语言模型压缩系统，该系统包括：链式分解模块，混合专家化模块，专家路由模块及多粒度训练模块；所述链式分解模块将原大语言模型中的大规模参数块W分解成行表示的链式矩阵乘的若干个第一矩阵[V1,V2,...,Vi,...,Vk]；所述混合专家化模块将每个第一矩阵转化为以列表示的第二矩阵集[Vi1,Vi2,...,Vie]，所述专家路由模块根据输入不同的矩阵在每个第二矩阵集计算构建矩阵因子；所述多粒度训练模块通过知识蒸馏将原大语言模型的数据信息转移到压缩矩阵中逐步训练原大语言模型转换成轻量化大语言模型；本发明克服了大语言模型参数量及存储空间占用大的问题，以及高倍压缩大语言模型时任务效果损失的问题。