基于联邦学习的大模型优化方法、装置、设备及介质

本发明涉及人工智能领域，技术方案应用于金融领域及医疗健康领域，公开了一种基于联邦学习的大模型优化方法、装置、计算机设备及存储介质，方法包括：接收来自服务器的全局模型；通过本地数据对全局模型进行局部训练，局部训练时保持基础模型的权重冻结，更新第一低秩矩阵和第二低秩矩阵；将更新后的第一低秩矩阵发送至服务器，以使服务器将每个客户端更新后的第一低秩矩阵进行聚合，得到全局低秩矩阵；接收来自服务器的全局低秩矩阵，生成权重更新量更新全局模型的本地适配器的权重，得到优化的全局模型。本方案能够使得通信效率跃变；第二低秩矩阵固化客户端特异性知识，防止全局知识污染；且推理阶段权重合并机制确保零延迟扩展。