一种大语言模型训练方法、装置、电子设备及存储介质

本申请公开了一种大语言模型训练方法、装置、电子设备及存储介质，该方法包括：将第二总和与第一总和相比，得到第一比值，当第一比值大于第二比值时，将第三比值与预设的最小比值、最大比值进行比较，得到矩阵秩对应的比较结果；获取比较结果对应的适应系数，将预设值乘以适应系数，生成矩阵秩的优化值；根据优化值，将权重矩阵分解成低秩矩阵D和低秩矩阵E；根据第一梯度值和第一学习率更新低秩矩阵D的第一参数，根据第二梯度值和第二学习率更新低秩矩阵E的第二参数，直至保存训练完成的大语言模型，在此过程中，不同网络层的低秩矩阵D和E的秩会自适应变大或者变小，而不是采用固定且相同的值。本申请有利于提高大语言模型的训练效率。