基于联邦学习的语言模型训练方法、装置、设备及介质

本申请涉及数据分析技术领域，公开了一种基于联邦学习的语言模型训练方法、装置、设备及介质，所述方法包括通过基于LoRA参数更新算法，对初始适配器LoRA参数进行优化处理，确定优化适配器LoRA参数；基于优化适配器LoRA参数确定目标适配器LoRA参数；基于初始模拟器LoRA参数与目标适配器LoRA参数对压缩语言模型进行训练。通过上述方式，本申请通过服务器下发压缩语言模型，基于LoRA参数更新算法，客户端上传优化后的适配器LoRA参数，无需变更模拟器LoRA参数，服务器端只需通过目标适配器LoRA参数训练压缩语言模型，精简了传输内容，提高了风险评估系统的大语言模型评估潜在风险的性能，在金融科技、医疗健康养老等领域中提高了风险评估系统处理数据的效率。