摘要
本发明公开一种基于客户端自知识蒸馏的个性化联邦学习实现方法。该方法包括:服务端初始化模型并下发给所有客户端;服务端在一个新的通信轮次开始时,向客户端下发全局模型;客户端接收到全局模型后,通过本地聚合模块来更新其本地模型;客户端本地模型参数训练时,通过知识蒸馏将历史个性化模型的知识迁移到当前本地模型中,并动态调整蒸馏损失比重;客户端完成训练后,更新历史个性化模型同时向服务端发送本地模型的参数;服务端根据客户端发送的模型参数加权平均得到新的模型,用于下一个通信轮次的训练;本发明在数据异构的背景下,在不额外增加通信开销的前提下,提高了个性化联邦学习的性能。
技术关键词
客户端
服务端
Softmax函数
知识蒸馏技术
随机梯度下降
深度神经网络
超参数
动态地
输入结构
模型更新
矩阵
数据
模块
代表
异构
指数
标签
系统为您推荐了相关专利信息
异构传感器
无人机协同
可见光图像
雷达
特征提取器
半监督学习方法
无标签样本
客户端
置信度阈值
车辆
信息安全识别方法
客户端
参数
长短记忆网络
随机梯度下降