模型训练的校正方法及相关设备

本公开提供了一种模型训练的校正方法及相关设备，涉及人工智能技术领域，该方法包括：在大模型的进行迭代训练的过程中，在每次迭代更新时，实时采集多个网络层的网络参数的历史梯度信息；根据所述历史梯度信息，确定校正策略；根据所述大模型的网络层，调整所述校正策略的校正幅度，确定当前次校正的校正幅度；根据所述校正策略和所述当前次校正的校正幅度，对所述大模型的每个网络层的当前梯度信息进行校正，得到校正后的梯度信息。通过监测和分析迭代训练的过程中的历史梯度信息，自适应的校正梯度更新方向和幅度，减少训练后期的震荡和不稳定现象，提高训练的稳定性和收敛速度。