一种基于联邦学习的模型训练方法、装置及设备

本申请公开了一种基于联邦学习的模型训练方法、装置及设备，应用于主计算节点，包括：基于训练获得的初始第一大语言模型确定若干第一目标隐含层，并获取与各第一目标隐含层对应的初始第一子参数；接收各从计算节点发送的、与初始第二大语言模型中各第二目标隐含层对应的初始第二子参数；至少基于各初始第一子参数以及各初始第二子参数，进行参数聚合，获得初始聚合参数；将初始聚合参数发送给各从计算节点，以供各从计算节点基于初始聚合参数进行下一轮模型调优，并接收各从计算节点发送的当前第二子参数，直至满足预定的调优条件时，停止模型调优，将当前聚合参数作为目标聚合参数，获得目标大语言模型。本申请，能使得最终的调优结果更加精准。