用于多个计算集群并行训练神经网络模型的方法、计算系统和装置、介质

用于多个计算集群并行训练神经网络模型的方法、计算系统和装置、介质，所述方法包括：使第1至第N个计算节点依次利用所部署的第1至第N个模型切片执行多个微批次中的每个微批次的前向计算，使第N至第1个计算节点依次执行每个微批次的反向计算，并且使第N个计算节点依次执行每个微批次的前向计算与反向计算；当设为第i+1个计算节点连续执行x个微批次的前向计算后进入交替执行反向计算与前向计算的稳定阶段时，使第i个计算节点连续执行x+k个微批次的前向计算后进入稳定阶段，其中，当第i个计算节点与第i+1个计算节点位于同一计算集群时k＝1，并且当第i个计算节点与第i+1个计算节点位于不同的两个计算集群时k＝2或k＝3。