一种隐私保护限制和GPU瓶颈下的大模型联邦训练方法

一种隐私保护限制和GPU瓶颈下的大模型联邦训练方法，属于大模型训练和联邦学习领域，本发明为解决现有大语言模型训练受隐私保护限制和GPU瓶颈限制导致准确率低的问题。本发明方法，初始轮次时，每个客户端的和分别使用Kaiming初始化和零初始化进行初始化，在后续轮次，每个客户端的初始化采用两步流程：首先将服务器聚合LoRA参数与客户端模型权重合并；其次客户端使用更新后的模型权重和LoRA参数进行训练，生成新一轮的LoRA参数。这一过程循环进行，直到模型收敛为止。