一种利用高阶子模型辅助训练的联邦学习方法及装置

AITNT
正文
推荐专利
一种利用高阶子模型辅助训练的联邦学习方法及装置
申请号:CN202411851758
申请日期:2024-12-16
公开号:CN119940475A
公开日期:2025-05-06
类型:发明专利
摘要
一种利用高阶子模型辅助训练的联邦学习方法及装置,该方法通过集成多高阶子模型的决策信息,增强低阶子模型的推理准确率;低阶子模型可以借助高阶子模型的决策信息和基于特征距离的最高阶子模型的量化矩阵辅助训练,提高训练效果;通过降低目标类别置信度的目标损失(信息熵)优化低阶子模型,避免了传统自蒸馏中再次拟合高阶子模型的目标类别置信度引起的信息偏移问题;利用对比学习统一各级子模型的特征维度,构建基于特征距离的最高阶子模型的量化矩阵作为监督信息,通过最小化低阶子模型与最高阶子模型距离矩阵的分布差异,引导低阶子模型接近最高阶子模型的量化矩阵,指导低阶子模型挖掘不同图像中的语义关系,提高模型的泛化能力。
技术关键词
联邦学习方法 客户端 矩阵 学习装置 数据 模块 决策 分类器 语义 蒸馏 参数 服务器 信息熵 图像 关系 标签 定义 网络
系统为您推荐了相关专利信息
1
一种显示屏亮度自适应调节方法及系统
环境光亮度 显示屏 颜色 像素点 曲线
2
基于时序数据分析的电力网络拓扑优化方法
电力网络拓扑 节点 Dijkstra算法 时序 矩阵
3
工程车辆运行状态数据采集方法、系统、设备及介质
工程车辆 车载终端 数据采集方法 数据采集终端 服务端
4
基于IP角色人设的儿童AI对话生成方法、系统及存储介质
对话生成方法 矩阵 文本 语义注意力 语言风格特征
5
基于在线自适应学习的自适应巡航控制方法、设备及介质
巡航控制系统 学习算法 巡航控制方法 策略 在线
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号