一种基于多知识蒸馏融合的异构联邦学习框架及方法

本发明涉及机器学习技术领域，具体为一种基于多知识蒸馏融合的异构联邦学习框架及方法，包括：客户端使用本地数据计算本地知识；服务器接收客户端上传的类粒度知识，并通过类粒度知识聚合模块加权聚合所有客户端类粒度知识生成全局类粒度知识；服务器通过知识分发模块将全局知识下发至各个客户端作为教师知识用于后续所述客户端模型的训练；客户端接收全局知识，并通过知识蒸馏模块进行温度自适应知识蒸馏，最大化师生知识传递的效果。本发明通过提出并融合两种不同的知识蒸馏方法，即温度自适应的知识蒸馏和批次样本类别关联性知识蒸馏，有效缓解了传统联邦学习框架在处理异构设备和异构数据环境时面临诸多挑战。