分布式数据并行训练的方法和设备

提供了一种分布式数据并行训练的方法和设备。所述方法包括：在第一训练轮次期间，通过多个计算节点之中的第i计算节点的第i加速器基于训练数据集中的第i训练数据子集执行神经网络的对应副本的训练，其中，所述多个计算节点中的每个保存所述神经网络模型的对应副本；将由第i加速器生成的第i冻结层数据存储到第i计算节点的第i池化内存；将来自第i池化内存的第i冻结层数据存储到共享内存，以在后续的训练轮次期间被其他计算节点重用，其中，共享内存基于计算快速链路CXL协议被所述多个计算节点共用，其中，i是大于零且小于等于M的整数，M是所述多个计算节点的数量。