一种基于训练与压缩分层的分布式模型训练方法及系统

本发明公开了一种基于训练与压缩分层的分布式模型训练方法及系统，属于分布式机器学习技术领域，用于解决现有的模型分布式训练方法无法同时降低端侧设备的资源负担以及保证通信效率和模型精度，不利于模型的边缘侧与端侧训练的技术问题。方法包括：端侧设备基于全局模型及本地数据，计算完整本地梯度并上传到归属的边缘节点；边缘节点对各个端侧设备发送的完整本地梯度进行聚合，得到区域平均梯度并进行误差补偿，得到修正梯度；对修正梯度进行两次压缩处理，得到最终压缩更新包并上传到归属的云端服务器；云端服务器对各个边缘节点发送的最终压缩更新包进行全局聚合，得到全局模型更新包；根据全局模型更新包优化全局模型，得到优化模型。