基于知识蒸馏和锐度感知最小化的个性化联邦学习方法

AITNT
正文
推荐专利
基于知识蒸馏和锐度感知最小化的个性化联邦学习方法
申请号:CN202410786500
申请日期:2024-06-18
公开号:CN118862948A
公开日期:2024-10-29
类型:发明专利
摘要
本发明提供了一种基于知识蒸馏和锐度感知最小化的个性化联邦学习方法。该方法包括:服务器生成全局共享无标签伪数据集,并下发给各个客户端;客户端利采用锐度感知最小化方法对本地模型进行优化,得到优化后的本地模型wc;客户端利用本地数据集和无标签伪数据集生成本地知识,服务器对各个客户端的本地知识中的logits依据权重系数进行加权运算得到全局将由全局原型p和全局构成的全局知识下发给各个客户端;客户端根据本地logits和全局知识中的全局对本地模型wc进行更新。本发明利用无标签伪数据集作为公共数据集进行知识蒸馏,就能够实现良好的性能。服务器利用权重对本地知识进行聚合,以获得高质量的全局知识,用于提升本地模型性能。
技术关键词
客户端 原型 最小化方法 样本 标签 联邦学习方法 服务器 数据 特征提取器 分类器 蒸馏 参数 模型更新 噪声 代表 误差
系统为您推荐了相关专利信息
1
一种海工行业ITR现场追踪管理系统及方法
追踪管理系统 追踪管理方法 云端服务器 问答知识库 客户端
2
一种核磁共振不确定性谱智能反演方法、系统、介质和设备
反演模型 回波 不确定性分析方法 反演方法 衰减特征
3
一种训练数据的生成方法、装置、存储介质及设备
大语言模型 生成训练数据 计算机 节点 生成方法
4
一种基于智能系统的健康宣教方法及系统
宣教方法 对象 多场景 智能系统 平台
5
一种基于深度学习模型的油脂结晶特性的预测方法及系统
深度学习模型 神经网络模型 非暂时性计算机 结晶 多层前馈神经网络
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号