寄生参数提取神经网络分布式训练方法及装置

本申请实施例提供寄生参数提取神经网络分布式训练方法及装置，涉及集成电路技术领域。该方法在每个训练批次中利用数据推送进程获取每个处理设备的局部批次，在提高数据读取效率的同时节约内存，利用Horovod并行框架在处理设备上对寄生参数提取神经网络并行训练得到局部梯度，之后获取每个处理设备的局部BN层统计参数用来计算全局统计参数，将全局统计参数分发至每个处理设备进行BN层的数据更新，同时更新局部梯度，利用Horovod框架同步所有局部梯度确定模型更新参数，继续训练直至得到训练完成的寄生参数提取神经网络。在Horovod并行框架基础上实现跨卡批归一化同步操作，避免因局部批次过小而导致训练不收敛的情况，既能维持训练精度，又能提升训练效率。