一种基于跨层参数低秩分解的预训练大语言模型的推理优化方法

本发明属于预训练大语言模型技术领域，具体涉及一种基于跨层参数低秩分解的预训练大语言模型的推理优化方法。包括：S1、获取预训练大语言模型以及校正数据集，收集校正数据推理过程中每一层参数矩阵的特征嵌入X；S2、基于每一层参数矩阵的特征嵌入X，生成特征嵌入的应白化矩阵S；S3、采用白化矩阵S以及其逆矩阵S‑1，对每一层大语言模型的参数矩阵进行白化处理；S4、对白化后大语言模型参数矩阵跨层参数低秩分解，得到优化后的大语言模型。