分布式训练方法、装置、设备及存储介质

本申请公开了一种分布式训练方法、装置、设备及存储介质，涉及人工智能技术领域。包括：计算节点读取训练数据并结合当前模型参数生成局部梯度，将局部梯度和发送时的时间戳发送至中心聚合服务器；服务器接收来自各计算节点的局部梯度和发送时的时间戳；在接收局部梯度的计算节点数量大于预设聚合阈值的情况下，计算各计算节点的权重并进行梯度聚合，得到全局梯度；基于全局梯度，计算目标学习率和目标模型参数；将目标学习率和目标模型参数分别发送至各计算节点；节点接收目标学习率和目标模型参数进行迭代更新。通过采用异步通信机制，并考虑各节点的实际性能，提出一种能对各节点灵活调整、训练效率更高，提升资源利用率的分布式训练方法。