大模型训练方法、装置、电子设备、存储介质和程序产品

本公开涉及一种大模型训练方法、装置、电子设备、存储介质和程序产品。所述方法包括：对于目标大模型的任意一项训练数据，将所述训练数据切分为多份分段数据，并将多份分段数据存储在非易失性存储器中，其中，多份分段数据依次进行前向传播计算和反向传播计算；对于任意一份分段数据，从非易失性存储器读取所述分段数据至显存，并通过GPU对所述分段数据执行前向传播计算，得到所述分段数据对应的激活值；对于任意一份分段数据，通过GPU基于所述分段数据对应的激活值执行反向传播计算，得到所述分段数据对应的梯度数据，并将所述分段数据对应的梯度数据从显存移动至非易失性存储器或者CPU内存。本公开能够降低激活值的显存占用。