摘要
本发明公开了一种基于自适应TopK的通信联邦学习方法及系统,该方法实现了基于改进UCB算法的自适应模型压缩率的选择,在上行通信时上传自适应压缩模型以降低通信量。通过耦合模型损失变化信息和通信量信息的方式设计奖励,实现模型精度与通信压缩的权衡,即保证模型精度尽量不受到模型压缩的影响。除此外,在自适应算法中设计跳过机制,能在模型效用稳定时进一步压缩通信,降低通信开销。该系统包括参数初始化模块、训练模型模块、压缩模型模块、保留残差模块、模型聚合模块和自适应k值计算模块。本发明可用于面向海量跨域数据的高性能联邦学习联合建模。
技术关键词
联邦学习方法
服务器
模型压缩
随机梯度下降
联邦学习系统
联邦模型
横向联邦
残差模块
通信量信息
算法
超参数
可读存储介质
计算机
数据
机制
高性能
定义