应用于分布式训练系统的训练容错方法、装置及芯片产品

本申请提供了一种应用于分布式训练系统的训练容错方法、装置及芯片产品，涉及分布式训练技术领域。该方法包括：对于包括多个计算节点以及至少一个备用节点的分布式训练系统，在备用节点被设置为新计算节点的情况下，从多个计算节点中确定与新计算节点相关的目标计算节点；将目标计算节点的内存中存储的检查点数据，迁移至新计算节点，其中，检查点数据用于指示计算节点参与执行分布式训练任务时的状态；控制新计算节点基于检查点数据参与执行分布式训练任务。本申请实施例通过将目标计算节点的内存中存储的检查点数据，迁移至新计算节点，而无需从持久化存储系统中读取检查点数据，有利于提高检查点数据的读取效率。