基于低秩量化大模型的预测方法、装置、电子设备、存储介质和计算机程序产品

本公开涉及一种基于低秩量化大模型的预测方法、装置、电子设备、存储介质和计算机程序产品，所述基于低秩量化大模型的预测方法包括：获取预测模型，其中，预测模型为大模型；通过将预测模型中的线性层的参数进行低秩分解，得到第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵；基于第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵，构建与线性层对应的量化低秩模块，其中，量化低秩模块依次包含第一激活量化层、第一线性层、尺度缩放层、第二激活量化层、和第二线性层；通过将预测模型中的线性层替换为量化低秩模块，得到压缩后的预测模型；将输入数据输入到压缩后的预测模型，得到与输入数据对应的预测结果。能够解决模型预测推理速度低下的问题。