时间与内存高效的大语言模型边缘协同微调方法及系统

本发明公开了时间与内存高效的大语言模型边缘协同微调方法及系统，该方法包括：为大型语言模型构建旁路子网络，得到目标LLMs；利用各边缘设备对所述目标LLMs进行测试微调，并记录边缘设备和模型的相关信息；基于所述相关信息，对所述目标LLMs和所述边缘设备进行划分，得到划分编排方案；基于所述划分编排方案，进行边缘设备协同的目标LLMs微调，得到微调结果。所述系统包括目标模型构建模块、测试微调模块、编排模块和协同微调模块。通过使用本发明，在保护用户数据隐私安全的前提下，实现了资源高效且可拓展的模型微调，使得对应的大语言模型能够适应下游智能应用。本发明可广泛应用于物联网领域。