用于模型训练的显存控制方法、装置、设备以及存储介质

本公开提供了用于模型训练的显存控制方法、装置、设备以及存储介质，涉及人工智能技术领域，尤其涉及神经网络、大模型、训练优化等技术领域。具体实现方案为：根据模型训练过程中的一次或多次反向计算所需的参数梯度信息的分组信息，为该一次或多次反向计算重构显存空间；执行该一次或多次反向计算，得到一次或多次反向计算结果；将该一次或多次反向计算结果，存入为该一次或多次反向计算重构的显存空间；释放为一次或多次反向计算重构的显存空间。