一种用于Transformer模型的集成压缩方法及系统

本发明属于语言模型压缩技术领域，提供了一种用于Transformer模型的集成压缩方法及系统，包括获取输入语料，并将输入语料预处理为嵌入矩阵；利用线性评分函数为每个嵌入向量分配得分；将嵌入向量按照得分降序排列后以特定的形式配对放入锦标赛中，将每一次配对后的嵌入向量融合生成新嵌入向量和得分，参与下一次的配对，并确保嵌入向量在传递到下一次时保持相对位置不变，最终得到k个嵌入向量。本发明通过动态调整模型各层的标记表示，突破了传统技术的静态限制，提高了模型的性能和训练速度。