用于利用零气泡流水线并行化来训练神经网络模型的方法和设备

本申请公开了用于利用零气泡流水线并行化来训练神经网络模型的方法和设备。各种实施例涉及利用零气泡流水线并行化来训练神经网络模型的计算机实施的方法，该计算机实施的方法包括：通过神经网络模型执行多个正向传播，其中多个正向传播中的每个正向传播将对应输入x变换为对应输出y；通过神经网络模型执行多个反向传播，其中多个反向传播分为多个梯度计算传播B和多个参数计算传播W；针对对应输入x和对应输出y执行多个梯度计算传播B；以及确定流水线气泡以及在流水线气泡期间执行多个参数计算传播W。