一种基于零阶优化的联邦大语言模型微调方法和系统

本发明公开了一种基于零阶优化的联邦大语言模型微调方法和系统，涉及人工智能技术领域，本发明通过将大语言模型部署到联邦学习框架中，并利用低秩分解来减少训练时模型参数的使用量以及在通讯过程中的传输量，然后对本地模型进行零阶微调，完成模型的更新。解决了现有技术中存在内存需求高的技术问题。