基于信息一致性驱动的梯度压缩器及梯度压缩方法、设备

本发明提供的基于信息一致性驱动的梯度压缩器及梯度压缩方法、设备，涉及分布式学习技术领域。本发明用于联邦学习系统中若干客户端与服务器端之间进行梯度压缩，通过互信息约束建模模块将互信息约束作为梯度压缩的核心目标，通过最小化拉格朗日目标函数得到最优压缩算子；多尺度稀疏表示模块利用小波变换对所述原始梯度进行多尺度稀疏化处理，以削减冗余数据，得到稀疏化梯度表示，并结合互信息约束与最优压缩算子进行评估以动态调整参数；通过贝叶斯自适应量化模块估计稀疏化梯度表示的概率分布以动态调整量化位宽，生成压缩梯度传输回服务器端。本发明通过多层次优化显著降低了分布式深度学习中的通信开销，同时最大限度地保留了梯度信息。