一种基于客户端自知识蒸馏的个性化联邦学习实现方法

AITNT
正文
推荐专利
一种基于客户端自知识蒸馏的个性化联邦学习实现方法
申请号:CN202411702116
申请日期:2024-11-26
公开号:CN119578512A
公开日期:2025-03-07
类型:发明专利
摘要
本发明公开一种基于客户端自知识蒸馏的个性化联邦学习实现方法。该方法包括:服务端初始化模型并下发给所有客户端;服务端在一个新的通信轮次开始时,向客户端下发全局模型;客户端接收到全局模型后,通过本地聚合模块来更新其本地模型;客户端本地模型参数训练时,通过知识蒸馏将历史个性化模型的知识迁移到当前本地模型中,并动态调整蒸馏损失比重;客户端完成训练后,更新历史个性化模型同时向服务端发送本地模型的参数;服务端根据客户端发送的模型参数加权平均得到新的模型,用于下一个通信轮次的训练;本发明在数据异构的背景下,在不额外增加通信开销的前提下,提高了个性化联邦学习的性能。
技术关键词
客户端 服务端 Softmax函数 知识蒸馏技术 随机梯度下降 深度神经网络 超参数 动态地 输入结构 模型更新 矩阵 数据 模块 代表 异构 指数 标签
系统为您推荐了相关专利信息
1
一种多源异构传感器的无人机协同探测方法及装置
异构传感器 无人机协同 可见光图像 雷达 特征提取器
2
基于AI的医学实验室综合管理及实验教学科研创新平台
器械管理系统 数据云平台 显示端 医学 服务端
3
一种车联网联邦半监督学习方法及系统
半监督学习方法 无标签样本 客户端 置信度阈值 车辆
4
一种数字电网信息安全识别方法、装置、设备及介质
信息安全识别方法 客户端 参数 长短记忆网络 随机梯度下降
5
一种基于姿态估计的杂草根部识别方法及设备
姿态估计 识别方法 关键点 杂草 叶片
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号