一种对大模型在随机子空间上进行零阶优化微调的方法及系统

本发明属于大语言模型微调技术领域，公开了一种对大模型在随机子空间上进行零阶优化微调的方法及系统，方法包括：获取目标领域的任务数据，对目标领域的任务数据进行预处理，获得大模型所需格式的数据集；使用获得的数据集微调预训练好的大语言模型；将待处理的数据输入微调后的大语言模型，完成目标领域的任务。本发明旨在解决高维LLM微调的挑战。