基于联邦学习的大模型训练方法、装置、设备及存储介质

本发明实施例涉及一种基于联邦学习的大模型训练方法、装置、设备及存储介质，通过从在线端服务器导入第一目标模型的堆叠层中的适配器和模拟器；根据模拟器和离线设备的本地数据对适配器进行微调训练，得到新适配器；将新适配器导出至在线端服务器中的第二目标模型，以使新适配器和第二目标模型进行聚合处理。由此，可以实现在离线设备端根据本地的数据对适配器进行微调训练后，再与在线端服务器中的模型进行聚合，在本地进行微调训练保护了本地数据的安全和隐私，并降低了大模型训练成本，保护离线端数据安全，提高了模型的泛化能力。