一种面向异构边缘设备的自适应大模型分布式微调方法

一种面向异构边缘设备的自适应大模型分布式微调方法，属于工智能大模型领域，包括：服务器通过二维剪枝方法构建子模型，对FFN模块用宽度剪枝进行顺序神经元剪枝，深度剪枝针对transformer层移除部分深层结构；根据客户端能力动态分配子模型；客户端对子模型训练，预训练模型主干参数保持冻结仅更新LoRA；客户端上传更新的LoRA模块与子模型参数至服务器；服务器执行聚合操作，更新全局模型的LoRA模块，保持全局模型主干参数不变；在全局模型对齐阶段，服务器在聚合阶段后执行层级知识和神经元级别对齐操作，最小化逐层蒸馏损失获取异构代理子模型。本发明降低了通信与计算开销，提升了训练效率，提高了系统学习性能。