基于DeepSpeed的梯度卸载优化方法、设备及存储介质

本申请公开了一种基于DeepSpeed的梯度卸载优化方法、设备及存储介质，涉及模型训练技术领域，该方法包括：响应于执行梯度累加操作，获取当前FP16梯度数据；从扩展卡中读取上一次保存的FP16梯度数据；将上一次保存的FP16梯度数据与当前FP16梯度数据进行累加，得到累加后的梯度数据；将所述累加后的梯度数据重新写回所述扩展卡中。本申请通过在梯度累加过程中将梯度数据实时卸载至扩展卡中，显著降低了GPU内存占用，提升了大规模模型的训练效率。