摘要
本发明公开了一种基于可解释优化启发式深度网络的模型压缩联邦学习框架,本发明方法包括预训练步骤:S1.收集多种模型在不同数据集上的多轮梯度数据,将梯度参数向量化并分块,构建训练数据集;网络训练步骤:S2.基于ISTA原理,设计并训练可解释的优化启发式深度网络作为梯度编码解码器;联邦学习步骤:S3.服务器初始化并分发全局模型,客户端进行本地训练后,使用采样矩阵压缩梯度并上传;S4.服务器利用优化启发式深度网络重建梯度并进行修正;S5.服务器聚合梯度更新全局模型并下发。进一步地,服务器循环抽取客户端进行多轮训练,直到模型符合预设条件。本发明具有通信开销小,模型性能好,适用性广等优点。
技术关键词
联邦学习模型
客户端
模型压缩
服务器
编码解码器
阶段
矩阵
数据
深度学习模型
分块
重建误差
阈值算法
通信带宽
非线性
参数
网络结构
框架
鲁棒性