摘要
本发明属于联邦学习技术应用领域,特别涉及一种基于知识蒸馏的自适应个性化联邦学习方法,包括客户端通过变分自动编码器根据本地数据生成伪数据,对伪数据进行数据增强;利用增强后的数据对部署在服务器的教师模型进行强化训练;部署在客户端的学生模型基于输入样本生成软预测标签上传到服务器,服务器基于软预测标签的置信度对各个客户端的软预测标签进行动态加权;利用动态加权后的软标签进行进一步迭代训练,生成个性化标签,将个性化标签下发到对应的客户端;客户端根据收到的个性化标签构建蒸馏损失对学生模型进行训练;本发明能够在数据异构和模型异构的联邦学习场景中提高联邦模型性能,增强客户端个性化学习效果,满足客户端个性化需求。
技术关键词
联邦学习方法
变分自动编码器
客户端
个性化标签
教师
蒸馏
数据
样本
学生
服务器
剪切技术
联邦学习技术
皮尔逊相关系数
正则化技术
参数
动态
联邦模型
注意力
误差函数