基于弹性联邦低秩适配微调的大语言模型训练方法及系统

本发明公开了一种基于弹性联邦低秩适配微调的大语言模型训练方法及系统，采用基于奇异值分解(SVD)的联邦聚合，将客户端本地LoRA模块重构为本地增量矩阵，然后聚合为全局增量矩阵，并通过SVD生成下一轮次的LoRA模块，有效消除传统FedLoRA的聚合误差。本发明为每个权重矩阵动态分配LoRA秩，实现了统计与硬件效率的平衡。为进一步减少通信开销并保持模型精度，本发明引入自适应矩阵冻结机制，依据权重矩阵的训练稳定性判断是否进行冻结。本发明解决了传统FedLoRA在训练效率、通信开销、模型精度等方面的挑战。