模型训练方法及装置

本发明提供一种模型训练方法及装置，所述方法包括：在模型反向计算时，在各芯片上，基于各芯片上对应的当前训练数据，计算各芯片上当前训练数据的单卡局部梯度，当前训练数据是各芯片上批次训练数据中的部分训练数据；将任一芯片作为目标芯片，并将其余芯片上的单卡局部梯度同步至目标芯片；在目标芯片上，基于所有芯片的单卡局部梯度，确定模型的单卡全局梯度；基于单卡全局梯度，在目标芯片上更新模型参数。本发明提供的模型训练方法及装置，能够减小显存占用且通信量较小。