大模型恢复训练的方法及装置、存储介质及电子装置

本申请公开了一种大模型恢复训练的方法及装置、存储介质及电子装置，包括：确定在大模型更新权重参数时发生故障的第一故障节点；从第一故障节点所属的数据并行组内确定第一故障节点对应的第一非故障节点，其中，数据并行组是基于数据并行策略对大模型的训练数据集进行划分得到的；将第一故障节点的初始权重参数更新为目标权重参数，以基于目标权重参数恢复训练大模型，目标权重参数由第一非故障节点基于初始权重参数计算得到，解决了在发生节点故障的大模型训练场景中，如何及时确定故障时刻的权重参数以减少模型恢复训练时间的技术问题。