分布式模型训练优化方法、装置、设备、介质和程序产品

本公开提供了一种分布式模型训练优化方法、装置、设备、介质和程序产品，涉及模型训练技术领域。其中，分布式模型训练优化方法包括：选择边缘节点集群中的邻居边缘节点构建分布式训练拓扑；在分布式训练拓扑中执行分布式模型的周期性训练，完成一个训练周期，计算训练得到的模型参数的本地梯度，接收邻居边缘节点发送的邻居压缩梯度，对邻居压缩梯度解压缩得到邻居边缘节点计算训练得到的模型参数的邻居梯度，对本地梯度和邻居梯度进行聚合操作得到聚合梯度，对聚合梯度进行动量补偿，得到补偿梯度，以基于补偿梯度更新模型参数；检测到模型参数满足模型的收敛条件，停止周期性训练。通过本公开的技术方案，有利于减少单次通信的数据量。