摘要
本发明提出了一种基于维纳反卷积与Diag‑Fisher剪枝的联邦学习算法WD&DFD‑FL。首先,客户端在完成模型训练后,使用Diag‑Fisher剪枝机制通过Fisher信息矩阵对梯度进行剪枝。接着,应用自然梯度优化对剪枝后的梯度进行修正并同态加密上传至服务器。服务器接收到加密后的剪枝梯度后,采用基于维纳反卷积的联邦机制对噪声进行滤波,通过估计噪声功率谱密度,设计反卷积来去除加密过程中引入的噪声,增强有用信号。最后,服务器聚合各客户端上传的梯度,形成全局模型并反馈给客户端,完成联邦学习的训练迭代;本发明通过对权重小的梯度进行剪枝以降低通信开销并且通过使用自然梯度以及维纳反卷积提高了模型精度。
技术关键词
联邦学习方法
客户端
加密
估计噪声功率
矩阵
滤波
数据
机制
参数
服务器
处理器
学习算法
密度
计算机
可读存储介质
存储器
表达式
电子设备