摘要
本申请涉及联邦学习技术领域,公开了一种基于多智能体与知识蒸馏的联邦学习方法、系统及介质,方法包括:S1、训练本地模型;S2、基于解耦的知识蒸馏;S3、基于区块链的去中心化知识共享:将S2提取的标准化蒸馏知识片段及其元数据封装成区块链交易提交至区块链网络,并验证交易合法性,写入区块链账本,实现去中心化分发;S4、基于大语言模型的多智能体协作知识管理,更新学生模型;S5、重复执行S1‑S4,直至满足训练终止条件。本申请实现联邦学习过程中对知识的个性化选择、自适应过滤与高效共享,有效缓解由数据非独立同分布特性引起的客户端漂移现象,显著提升模型在异构数据环境下的收敛速度、整体性能与个性化水平,并优化客户端间的通信开销。
技术关键词
混合损失函数
蒸馏
教师
大语言模型
学生
联邦学习方法
联邦学习系统
样本
数据
模型训练模块
标签
账本
融合策略
信息熵
联邦学习技术
网络
对象
教学
客户端设备
系统为您推荐了相关专利信息
原始查询语句
代码搜索方法
大语言模型
预训练模型
样本
大语言模型
指令
模型控制方法
模型训练模块
卡片
微调模板
大语言模型
召回方法
样本
计算机程序指令
内容智能推荐
画像
注意力机制
数据采集模块
学生学习数据