一种分布式训练方法、系统、存储介质和电子设备

本申请提供一种分布式训练方法，包括：在每轮训练时，确定设备端中参与本轮训练的目标设备端服务器下发全局模型到目标设备端；服务器接收各目标设备端的本地模型变更量，聚合得到全局参数更新量，并根据历史梯度的指数加权平均值确定梯度；应用全局参数更新量和梯度对全局模型进行优化，优化后的全局模型用于执行下一轮迭代训练。本申请能够在保证训练效果的同时，尽量减少计算量和内存消耗。通过在服务器上为每个设备维护一个控制变量，以避免Non‑IID导致的客户漂移问题。本申请还提供一种分布式训练系统、计算机可读存储介质和电子设备，具有上述有益效果，此处不再赘述。