摘要
本发明公开了一种基于自编码器和残差量化的联邦学习加速方法、系统及装置。中心节点启动联邦学习任务并分发初始全局模型,各参与方节点利用本地数据进行初始训练,此阶段不使用编码器和量化器。与此同时,中心节点并行训练自编码器和残差量化器,将训练完成的自编码器和残差量化器模型分发至各参与方节点,利用自编码器压缩模型参数并通过残差量化技术提升压缩精度,中心节点收集压缩和量化后的参数,利用解码器重构并聚合,更新后的全局模型分发至各节点用于下一轮训练,重复上述过程直至达到预定训练轮次数或模型性能满足要求。本发明通过自编码器和残差量化技术显著减少数据传输量,加速模型训练,提升联邦学习效率和实用性。
技术关键词
量化器
参数
节点
重建误差
量化误差
客户端
传播算法
编码器模块
加速模型训练
假设解码器
数据压缩
无监督学习
加速系统
性能监控
加速装置
算法模块
系统为您推荐了相关专利信息
眼动追踪装置
角度传感器
眼动追踪方法
光信号
交互方法
性能优化方法
梯度下降算法
深度学习算法
数据分布
深度学习模型
数据预处理方法
变电站
贝叶斯算法
判断误差
矩阵