基于动态量化和复用历史梯度的分布式神经网络训练方法

本发明公开了一种基于动态量化和复用历史梯度的分布式神经网络训练方法，主要解决现有技术训练成本高、通信频次多、量化误差较大，训练速度慢与精度低的问题。其实现方案包括：获取图像数据，对其进行预处理；初始化训练参数，计算当前设备本训练轮的梯度值；量化每个梯度值，计算梯度值与自身历史梯度值之间的投影值与误差，更新当前设备存储的历史梯度；相互交换当前设备和其他各设备上的数值，更新各自的历史梯度；计算当前设备本训练轮的最终梯度值更新本地模型参数；计算当前设备最终梯度值与当前设备向其他设备发送投影值的差值进行下一训练轮次；重复上述训练轮直至达到预先设定的值结束训练。本发明能降低训练成本，减少通信频次和量化误差，提高训练速度与精度。可用于机器学习。