基于参数高效微调的大型语言模型训练方法

本发明公开了一种基于参数高效微调的大型语言模型训练方法。大型语言模型训练方法包括：针对训练对象的大型语言模型，将大型语言模型划分为客户端预训练模型和服务器端预训练模型两部分；联合客户端预训练模型和服务器端预训练模型共同进行并行协作训练，在训练过程中，采用参数高效微调技术来对客户端预训练模型和服务器端预训练模型进行并行训练；待训练完成后，采用模型聚合的方法，将客户端预训练模型和服务器端预训练模型合并起来；重复上述步骤，直至作为训练对象的大型语言模型收敛为止。本发明的大型语言模型训练方法基于分割联邦学习框架，并且结合了FL的并行训练优势和SL的模型分割优势，大大提高了训练效率。