基于分布式系统的模型训练方法、分布式系统及电子设备

一种基于分布式系统的模型训练方法、分布式系统及电子设备，涉及机器学习技术领域。分布式系统包括控制节点和a个计算节点，该方法应用于控制节点。该控制节点可以控制所述a个计算节点对目标模型进行多轮迭代训练，在每轮训练中由所述a个计算节点按照预设顺序依次对所述目标模型进行一次训练；其中，在第N轮训练中的任意一个计算节点对所述目标模型进行训练的过程包括：根据所述计算节点基于第一参数确定的第一梯度，更新所述目标模型的全局参数；所述第一参数是在第N‑1轮训练中，预测的在所述第N轮训练中所述计算节点待更新的所述目标模型的全局参数；N≥2且为正整数。通过上述方法能够提高训练的模型效果。