一种基于共享梯度低秩投影的大语言模型微调方法和装置

本发明公开了一种基于共享梯度低秩投影的大语言模型微调方法和装置，涉及模型微调技术领域，包括：采用微调数据集输入待微调大语言模型确定损失函数值，更新模型迭代次数，并判断是否满足模型迭代停止条件；当未满足时，根据损失函数值确定模型权重矩阵的当前梯度矩阵，并判断是否更新当前梯度矩阵的共享投影矩阵；若更新则将矩阵形状相同的当前梯度矩阵划为同形状梯度矩阵组，并提取各组的梯度公共信息构建对应新的共享投影矩阵；采用当前的共享投影矩阵对关联的当前梯度矩阵进行低秩投影确定对应的子空间梯度；优化各子空间梯度后进行重投影进而对应更新模型权重矩阵，直至满足模型迭代停止条件。基于上述方案有助于提升模型的微调效率。