训练大语言模型的方法及装置

本说明书实施例提供一种训练大语言模型的方法，该方法包括：获取输出层的目标参数矩阵，其通过对输出层在上一批次训练得到的原始参数矩阵进行归一化处理而得到。通过目标参数矩阵，对输出层的输入向量进行映射处理，得到映射到预设的词表空间的输出结果，该输入向量与输入文本相对应。在得到当前批次包含的各个微批次中各个输入文本对应的输出结果后，确定目标参数梯度，利用目标参数梯度更新原始参数矩阵。