一种大语言模型加速方法及装置

本发明涉及人工智能领域，本发明要解决的技术问题为如何简化存储资源和计算资源，进行大语言模型的推广。采用的技术方案为一种大语言模型加速方法及装置，具有如下步骤：S1、将大语言模型的预训练权重矩阵W进行压缩分解；S2、分别对U和VT矩阵进行QR分解，得到QU、RU、QV、RV；S3、使用奇异值分解算法对矩阵乘积进行压缩分解；S4、将矩阵分别合并；S5、将得到的矩阵替换权重矩阵W进行存储；S6、使用存储的矩阵进行推理加速；S7、将得到的秩r设置成为对应权重矩阵W的低秩参数化更新矩阵ΔW的秩；S8、使用存储的矩阵进行微调后大语言模型的推理加速。