神经网络训练方法及装置、电子设备、存储介质

本公开提供了一种神经网络训练方法及装置、电子设备、存储介质，该方法应用于第一处理部件，每个处理部件上部署有神经网络的至少一个网络层，该方法包括：在前向传播过程中，对当前子批次输入第一处理部件的第一训练数据进行处理，输出第一结果数据，并将第一处理部件在当前子批次的第一激活值存储到第一处理部件的第一存储空间或第二处理部件的第二存储空间，第一处理部件与第二处理部件通信连接，且第二处理部件非第一处理部件；在反向传播过程中，根据当前子批次输入第一处理部件的第一梯度数据，以及从第一存储空间或第二存储空间读取的第一激活值，训练神经网络。根据本公开的实施例能够实现众核系统中处理部件之间的存储均衡。