模型训练方法、装置、系统及设备

本公开涉及一种模型训练方法、装置、系统及设备。在执行针对第N批次训练样本的至少部分前向过程中，将动态生成的计算图切分为多个子前向过程，并获取与多个子前向过程对应的多个子反向过程；在第N批次训练样本的前向过程执行完毕后，且在执行第P批次训练样本的至少部分前向过程中，在至少一个时间段利用计算单元并行执行第P批次训练样本的至少部分前向过程中的一个子前向过程以及第N批次训练样本的多个子反向过程中的一个子反向过程，并且，并行执行的子前向过程和子反向过程，其中一个属于计算操作，另一个属于通信操作。由此，在模型训练过程中可以掩盖至少部分通信成本的开销。