语言模型训练方法、装置、电子设备及存储介质

本公开提供一种语言模型训练方法、装置、电子设备及存储介质。所述方法包括：对初始语言模型进行训练得到权重矩阵，对权重矩阵进行分解处理得到基础特征矩阵和初始任务适配矩阵；对初始任务适配矩阵进行更新处理得到更新任务适配矩阵；确定在当前训练周期的更新任务适配矩阵中每个奇异向量方向的当前敏感度；根据当前敏感度从多个奇异向量方向中确定敏感方向，对敏感方向关联的缩放系数进行正则化处理得到正则化损失函数；响应于确定在连续的预设数量训练周期内奇异向量方向的变化敏感度处于衰减状态，对缩放系数进行参数重置得到更新缩放系数；将基础特征矩阵和更新任务适配矩阵进行合并处理，并将更新语言模型作为目标语言模型。