摘要
本发明公开了一种基于客户端选择和模型剪枝的联邦学习方法,包括如下步骤:假设有N个客户端,为非独立同分布,系统初始化各参数;服务器随机选择一部分客户端参与模型训练任务,且在每一次本地迭代中,每个客户端使用Top‑K稀疏对其梯度进行稀疏化处理来进行本地模型更新,待本地模型更新完成后,各客户端将其更新后的本地模型参数发送给服务器;服务器根据各客户端所发送的本地模型参数进行指标计算和客户端选择;服务器接收到参与本轮聚合的客户端集合后,对全局模型进行加权平均聚合,供下一轮使用,重复迭代,直到模型收敛或通信轮次达到上限。本发明在保证模型训练精度的前提下降低了额外的通信开销,提高收敛速率和训练效率。
技术关键词
客户端
联邦学习方法
模型剪枝
模型更新
服务器
指标
参数
随机梯度下降
机制
速率
精度
系统为您推荐了相关专利信息
分布式服务器集群
服务器集群配置
日志文件读取
均衡调度中心
模式识别模型
检索标签
视频推荐方法
关键词生成模型
主题
画像
纵向联邦学习方法
样本
计算机程序指令
特征选择
构建预测模型