分布式训练方法、装置、系统、设备和介质

本申请提供一种分布式训练方法、装置、系统、设备和介质，涉及人工智能技术领域，尤其涉及分布式机器学习技术。该方法包括：根据当前网络的带宽参数和传输延迟参数计算当前压缩比和当前延迟步长；按照所述当前压缩比对迭代过程中每轮计算的梯度进行压缩得到压缩梯度，并更新累积误差项；当迭代轮数达到所述当前延迟步长，根据当前的压缩梯度和累积误差项计算当前更新梯度；向服务器上传所述当前更新梯度，以使所述服务器根据各个计算节点上传的当前更新梯度进行聚合得到聚合梯度，并根据所述聚合梯度计算模型全局参数下发至所述各个计算节点。本申请能够在减少通讯开销的过程中不损失模型精度，从而提高模型的训练效率和训练精度。