摘要
一种利用高阶子模型辅助训练的联邦学习方法及装置,该方法通过集成多高阶子模型的决策信息,增强低阶子模型的推理准确率;低阶子模型可以借助高阶子模型的决策信息和基于特征距离的最高阶子模型的量化矩阵辅助训练,提高训练效果;通过降低目标类别置信度的目标损失(信息熵)优化低阶子模型,避免了传统自蒸馏中再次拟合高阶子模型的目标类别置信度引起的信息偏移问题;利用对比学习统一各级子模型的特征维度,构建基于特征距离的最高阶子模型的量化矩阵作为监督信息,通过最小化低阶子模型与最高阶子模型距离矩阵的分布差异,引导低阶子模型接近最高阶子模型的量化矩阵,指导低阶子模型挖掘不同图像中的语义关系,提高模型的泛化能力。
技术关键词
联邦学习方法
客户端
矩阵
学习装置
数据
模块
决策
分类器
语义
蒸馏
参数
服务器
信息熵
图像
关系
标签
定义
网络
系统为您推荐了相关专利信息
电力网络拓扑
节点
Dijkstra算法
时序
矩阵
工程车辆
车载终端
数据采集方法
数据采集终端
服务端
对话生成方法
矩阵
文本
语义注意力
语言风格特征