一种模型训练方法和电子设备

本申请实施例提供一种模型训练方法、装置和计算设备集群。方法应用于训练集群，训练集群包括多个模型训练组的第一模型训练组和第二模型训练组，第一模型训练组和第二模型训练组用于以数据并行的方式并行训练神经网络模型，方法包括：在一轮训练结束后生成第一及第二节点的检查点数据；第一训练节点将检查点数据保存到第一训练节点的内存中，以及，第二训练节点将检查点数据保存到第二训练节点的内存中；若第一训练节点在对模型进行训练过程中发生故障，则第一训练节点从第二训练节点的内存中获取检查点数据。根据本申请实施例的模型训练方法，可以减少通信资源的消耗，减少对远端存储的性能和带宽需求，显著降低整体系统的成本。