基于联邦大模型的反转知识蒸馏方法和系统

本发明提供了一种基于联邦大模型的反转知识蒸馏方法和系统，涉及联邦学习领域，包括：客户端使用私有数据集对小参数模型的权重参数进行更新，得到客户端模型；使用公共数据集输出客户端模型软逻辑并发送至服务器；服务器的大参数模型使用公共数据集输出服务器模型软逻辑；根据服务器模型软逻辑与多个客户端模型软逻辑间的相关性以及每个客户端模型对公共数据集的准确率来计算每一个客户端的权重；根据客户端权重与客户端模型软逻辑计算加权客户软逻辑；使用服务器模型软逻辑与加权客户软逻辑进行知识蒸馏。本发明使用多个小参数模型对单个大参数模型进行知识蒸馏，为服务器内大参数模型的更新与迭代提供了一种全新的方法。