一种联邦大语言模型训练方法、装置及设备

本申请公开了一种联邦大语言模型训练方法、装置及设备。其中方法包括：基于目标比例从第一原始训练集中确定第一目标训练集，并基于第一目标训练集对预定的基座模型进行模型训练，获得初始第一训练参数；基于第一公钥对初始第一训练参数进行加密，并将加密参数发送给主计算节点，以供主计算节点基于持有的与第一公钥对应的第一私钥对加密数据进行解密获得初始第一训练参数；接收主计算节点发送的初始聚合参数，并基于初始聚合参数进行下一轮模型训练，并将训练获得的当前第一训练参数加密后发送给主计算节点，直至满足预定的训练条件时，停止模型训练，将接收到的当前聚合参数作为目标聚合参数，获得目标大语言模型。本申请能保证了数据安全。