一种基于小样本知识蒸馏的联邦忘却学习方法

本发明公开了一种基于小样本知识蒸馏的联邦忘却学习方法，包括：采用服务器初始化全局模型同时广播至每个客户端；各个客户端使用本地数据对接收到的全局模型进行本地训练，在本地训练完成后，将其全局模型更新发送回服务器；服务器保存并聚合来自所有客户端发送的全局模型，用于对服务器本地的全局模型进行更新，重复S1到S3的联邦学习过程；在某一时刻目标客户端提出忘却请求，停止联邦学习，此时服务器端使用遗忘模块生成忘却模型，并将其作为学生模型；服务器端根据本地的小样本数据微调对比语言图像预训练模型，使其适应下游数据，并将其作为教师模型；服务器端使用本地的小样本数据通过知识蒸馏方法进行恢复训练，从而避免因客户端数据撤销导致的灾难性遗忘，进而提升遗忘模型的性能。