一种基于共享随机投影的分布式学习信息压缩方法

本发明公开一种基于共享随机投影的分布式学习信息压缩方法，属于机器学习、神经网络优化技术领域。本发明使用在分布式系统设备间共享的高斯随机向量对梯度信息进行投影压缩与重构，在通讯之前将梯度向量压缩到任意低维空间，然后在通讯后进行重构。本发明可以直接部署于任何现有的一阶优化器、通讯架构和训练框架，可以确保重构向量的无偏性和方差的有界性，从而在分布式学习中保持训练的高质量。相比现有的梯度压缩方法，本发明具有更强的通用性，更高效的训练速度，更好的训练效果与更简介的部署方式。