一种基于有序动量的异步分布式机器学习方法

本发明公开一种基于有序动量的异步分布式机器学习方法，基于有序动量的思想，将动量引入异步随机梯度下降法。在服务器端将梯度按照其迭代索引的顺序组织成有序动量。这里的有序动量是若干个梯度存储桶的加权和，梯度到达服务器端后，根据其迭代索引放入相应的梯度存储桶中。相比较异步随机梯度下降方法，本方法不引入除了动量项外的额外存储开销，并且可以有效提升算法的收敛性能和模型的泛化性能。相比较现有的带动量的同步分布式机器学习方法，本方法可以大幅度提升训练集群分布式训练的速度，尤其是在训练集群中各工作节点计算能力异构的场景下，本方法的速度优势更加明显。