基于Lora与双适配器的个性化联邦学习系统

本发明公开了一种基于Lora和双适配器的个性化联邦学习系统，客户端配置有个性化适配器和本地适配器，而服务器端则配置有聚合模块。实现步骤S1、修改模型结构，添加Lora层；S2、加载预训练模型，初始化微调参数；S3、服务器随机选择客户端，发送微调参数至选定的客户端；S4、本地适配器利用服务器发送而来的参数进行更新，并利用本地数据进行微调训练，将结果发送至服务器；S5、个性化适配器利用服务器发送而来的参数及本地数据进行微调训练；S6、服务器聚合来自客户端的微调参数，并更新；S7、判断模型是否收敛，若收敛，则结束，否则返回S3。本发明显著提高了个性化联邦学习模型训练的效率，大幅提升了个性化模型的泛化性及鲁棒性。