一种针对混合专家模型的参数压缩方法和装置

本说明书实施例提供了一种针对混合专家模型的参数压缩方法和装置，混合专家模型用于构建大语言模型，所述大语言模型用于至少根据输入的文本数据输出处理结果，该方法包括：获取混合专家模型，混合专家模型包括N个专家模型，各个专家模型分别具有对应的参数矩阵，各个专家模型对应的参数矩阵的参数维度相同；根据N个专家模型各自对应的参数矩阵，生成M个目标矩阵、以及各个专家模型各自对应的转换矩阵，2≤M<N；对于各个专家模型，通过M个目标矩阵、以及专家模型对应的转换矩阵之间的矩阵运算，代替专家模型对应的参数矩阵。