神经网络模型的分布式训练方法、设备、介质及集群

本公开提供了一种神经网络模型的分布式训练方法、设备、介质及集群，涉及人工智能领域，尤其涉及芯片领域。具体实现方案为：在检测到待训练模型的模型规模大于分布式集群的处理规模时，对模型量化处理得到量化模型；将量化模型拆分为多个模型分区并配置在各流水并行组中；在进行前向计算时，通过各流水并行组之间的共同配合，生成训练误差值；在根据训练误差值对量化模型进行反向计算的过程中，通过各流水并行组根据组内独立维护的梯度缩放值，对模型权重进行更新。以并行组为粒度，每个并行组通过维护各自的梯度缩放值，并利用其更新各自模型分区中的权重，能够有效地在模型精度与计算开销之间取得平衡，提高了分布式训练的效率、精度与可靠性。