基于分布式数据并行的模型训练方法、模型训练方法以及相关设备

本申请实施例公开了基于分布式数据并行的模型训练方法、模型训练方法以及相关设备，用于提升模型训练效率。在分布式数据并行的场景中，参与训练的每个训练端仅需要同步每轮的加权训练损失，并基于同步获得的加权训练损失调整其上部署的本地模型。其中，每轮的加权训练损失为参与训练的多个训练端相应轮训练损失的加权平均值。此外，若多个训练端共享大模型的至少部分网络层，则各训练端只需要在两处同步：一、和前述场景类似，在多个训练端不共享最后一层网络的情况下，运行最后一层网络的每个实例都需要将前述加权训练损失进行独立的反向传播和参数更新；二、在反向传播进行参数更新时在多个训练端共享的单个实例进行反向回传梯度的聚合平均。