摘要
本发明涉及一种基于特征蒸馏和类原型的联邦类增量学习方法,该方法包括初始化训练阶段和增量学习阶段。在初始化训练阶段,即用户首次接收到任务时,系统利用交叉熵损失函数训练本地模型;当用户任务发生更新时,系统进入增量学习阶段,在初始化训练的基础上,加入保留旧知识的增量学习策略。该增量学习策略包括:针对本地特征提取器的特征蒸馏策略、针对本地分类器的原型增强策略、针对聚合后模型的微调策略以及针对类原型的更新策略。本发明在本地无需存储旧数据的情况下,通过让本地用户和服务器共同参与训练,有效缓解了联邦学习系统面对动态数据流时产生的灾难性遗忘,提升了模型对新旧数据的识别性能。
技术关键词
增量学习方法
原型
服务器
蒸馏
分类器
样本
特征提取器
数据选取方法
联邦学习系统
分类模型训练
阶段
策略
度量
协方差矩阵
节点
副本
语义
总量
噪声
系统为您推荐了相关专利信息
对象检索方法
实例分割模型
检索对象
文本
融合图像特征
荧光
自动化检测方法
扩展算法
阈值算法
机器学习模型
特征提取模块
视频异常检测方法
注意力机制
网络
教师
网络异常检测方法
工业物联网
节点
保护客户端
快照