一种面向分布式训练的残差显存优化方法和系统

本申请属于计算机存储技术领域，具体公开了一种面向分布式训练的残差显存优化方法和系统，该方法包括：获取压缩通信的分布式深度神经网络DNN模型训练中原始梯度与压缩梯度的差值作为残差；将DNN模型划分为可重用组和特定层，所述可重用组中包含结构相同的多个相邻残差层，所述特定层为不包含在可重用组中的层；基于所述可重用组中的平均残差，对所述可重用组中的残差进行缩减，并对所述特定层的残差进行维度压缩；基于缩减后的残差和维度压缩后的残差，更新DNN模型的参数。该方法可以降低分布式训练的显存开销。