大语言模型的参数剪枝方法、装置、设备及可读存储介质

本申请实施例提供了一种大语言模型的参数剪枝方法、装置、设备及可读存储介质。方法包括：获取预设大语言模型中每个网络层的第一度量矩阵，并确定对应网络层的剪枝率；针对每个网络层包含的多个注意力头确定多个重要性得分，并构建第二度量矩阵；根据剪枝率和第二度量矩阵确定第二度量矩阵的第一标定矩阵，并基于第一标定矩阵的稀疏分布特性得到第一掩码矩阵；对键通道和值通道进行剪枝；根据目标数量和第二度量矩阵确定第二度量矩阵的第二标定矩阵，并基于第二标定矩阵的稀疏分布特性得到第二掩码矩阵；对第二掩码矩阵关联的查询通道和输出通道进行剪枝，得到大语言模型。以此，能够减少大语言模型的存储空间，加速大语言模型的计算效率。