一种联邦大语言模型的训练方法、装置、设备及介质

本说明书实施例公开了一种联邦大语言模型的训练方法、装置、设备及介质，方法包括：对预置大语言模型蒸馏获得对应的小型语言模型，并将其下发至各个客户端；根据各客户端的本地私有数据对小型语言模型进行训练获得对应的模型权重参数矩阵，上传到服务器端；基于奇异值分解对各模型权重参数矩阵进行分解，以筛选关键奇异值与对应奇异向量并基于此更新模型权重参数；对更新后的模型权重参数进行加权，获得客户端汇总模型，以基于客户端汇总模型与小型语言模型进行加权，获得服务器端的当前小型语言模型；将当前小型语言模型基于预置大语言模型与当前小型语言模型的公共数据集进行知识迁移，实现对于预置大语言模型的训练更新。