一种基于联邦学习的模型训练方法、装置及设备

本申请公开了一种基于联邦学习的模型训练方法、装置及设备，其中方法包括：基于初始大语言模型所对应的依赖结构集合及预定的剪枝比例，确定与各总剪枝策略对应的预剪枝模型，并将各预剪枝模型发送给各从计算节点；基于第一训练数据集，确定各预剪枝模型的第一性能偏差；接收各从计算节点发送的、针对各预剪枝模型的第二性能偏差；基于各预剪枝模型的第一性能偏差及各预剪枝模型的各第二性能偏差，确定若干目标依赖结构，并基于各目标依赖结构对初始大语言模型进行剪枝处理，获得剪枝大语言模型；基于第一优化数据集对剪枝大语言模型进行优化训练，获得目标大语言模型。本申请能合理、精准进行模型剪枝，简化模型结构，提高模型训练速度。