基于分块交错流水线的模型更新方法、装置、设备及产品

本发明公开了基于分块交错流水线的模型更新方法、装置、设备及产品，所述方法包括：接收中央处理器当前发送的待更新数据块；其中，待更新数据块包括：模型参数分块和对应的优化器状态分块；根据本次模型迭代计算生成的梯度数据，对待更新数据块进行更新，得到已更新数据块，并将已更新数据块卸载至中央处理器；在卸载已更新数据块时，接收中央处理器发送的下一个待更新数据块，以在图形处理器中完成下一个待更新数据块的更新和卸载处理。本发明能够显著地减少显存需求，并通过预加载机制，充分利用计算资源和通信资源的时序重叠性，进而有效地提高了数据更新的效率。