一种基于动量加速和误差反馈的联邦学习三元量化方法

本发明属于联邦学习通信开销优化领域，具体涉及一种基于动量加速和误差反馈的联邦学习三元量化方法，该方法包括：中央服务器下发模型参数，随机采样部分客户端接收模型，客户端本地进行模型更新，计算更新后的模型与更新前模型之间的差异Δ，将该差异Δ与误差e通过Ternary量化方法计算得到最后的压缩结果，更新本轮新误差，最后将压缩结果上传到中央服务器，服务器聚合参数后通过动量加速算法更新全局模型，以此执行多个轮次，最终得到训练好的目标模型。本发明在联邦学习基线模型上使用Ternary量化方法，大大降低了传输模型的开销，同时结合Adam动量加速和误差反馈机制，保证在降低通信开销的情况下，模型依然能快速收敛。