一种基于本地差分隐私和迁移学习技术的联邦学习模型

本发明涉及本地差分隐私和迁移学习领域，具体是一种利用基于参数共享的迁移学习和PM扰动机制来实现联邦学习隐私保护的方案。该方案能够实现联邦学习过程中的隐私保护，同时对客户端的骨干模型进行迁移、剪枝，在确保模型精度不降低的情况下大大减少了训练的通信开销。首先，针对深度学习模型的复杂性和资源密集性导致通信开销大的问题，我们利用迁移学习的思想，允许多个客户端之间共享一部分模型参数，这些模型参数形成共享编码器并将其冻结，不参与联邦学习聚合过程。剩余的网络层组成预测器，对预测器进行剪枝，更新剪枝后的预测器，最后将被剪枝部分恢复为训练前的模型参数。针对FL中存在的隐私泄漏问题，客户端可以根据自己的隐私保护需求，设定一个整体的隐私预算，并采用一种动态的隐私预算分配方法分配每轮训练的隐私预算，用这个隐私预算对恢复后的预测器通过分段机制进行分段扰动，客户端将扰动后的预测器上传给中央服务器，服务器对接收到的预测器通过FedAvg算法聚合后广播给客户端，以进行下一轮训练。