摘要
本发明公开一种快速且稳定收敛的模型异构联邦学习方法及系统,属数据保护的机器学习领域,方法包括:步骤1,服务器初始化全局模型参数,创建该模型各隐藏层中未用神经元的参数缓冲区;步骤2,每轮开始时,随机选一部分或全部客户端参与当前轮训练;步骤3,按参与训练每个客户端容量,用无放回随机采样从参数缓冲区中为该客户端提取一个子模型,发给该客户端做本地训练;步骤4,全局聚合步骤:当所有参与客户端完成本地训练后,服务器收集各客户端上传的子模型参数用全局聚合步长衰减机制加权平均聚合得到本轮聚合后的全局模型;步骤5,若判断未达到指定轮数或模型性能收敛,则循环执行步骤2至步骤4,否则结束。该方法能提升收敛稳定性。
技术关键词
客户端
联邦学习方法
联邦学习系统
服务器
异构
参数
模型更新
机制
索引
数据保护
资源
处理器
程序
存储器
代表