一种大模型训练系统的参数训练方法、装置及程序产品

本申请提供一种大模型训练系统的参数训练方法、装置及程序产品，包括第一计算节点获取第i次迭代训练产生的n个参数的梯度信息；第一计算节点根据第i次迭代训练产生的n个参数的梯度信息与第i‑1次迭代训练后的残留梯度和，确定第i次迭代总梯度；第一计算节点将第i次迭代总梯度中满足阈值条件的m个参数的梯度信息发送至参数节点；满足阈值条件的m个参数作为传输梯度；参数节点根据所有计算节点发送的第i次迭代训练的传输梯度，更新大模型在第i+1次迭代训练中使用的权重参数；第一计算节点从参数节点中获取第i+1次迭代训练中使用的权重参数，进行第i+1次迭代训练。该方案能够在减少通信量的情况下，维持大模型训练结果的准确度。