一种基于互学习的联邦大模型微调方法、设备及介质

本申请公开了一种基于互学习的联邦大模型微调方法、设备及介质，涉及大语言模型技术领域。方法包括：通过客户端和本地私有数据集，对第一语言模型进行微调，得到第二语言模型；通过第二语言模型对公共数据集进行计算，得到第二结果；计算第二结果和第一结果的第一损失值，将第二结果和第一损失值组成第一知识集合；获取知识集合，并通过第三语言模型对公共数据集进行计算，得到第三结果；计算第三结果的第二损失值，并将第一损失值和第二损失值进行比较，以微调第三语言模型。本申请通过上述方法实现了充分利用客户端小型语言模型的知识来丰富服务器端大型语言模型，同时使用服务器端大模型的知识提升客户端小型语言模型的能力。