一种基于侧网络的大模型微调训练方法、系统及装置

本发明公开了一种基于侧网络的大模型微调训练方法、系统及装置，其中涉及的一种基于侧网络的大模型微调训练方法，包括：S1.获取模型使用方本地拥有的预训练参数和微调训练数据；S2.将获取的预训练参数进行模型压缩得到侧网络参数，并将得到的侧网络参数同步给外部算力；S3.基于微调训练数据对模型进行微调训练；其中在微调训练时固定预训练参数，对侧网络参数进行更新，外部算力将更新后的侧网络参数同步给本地；S4.训练结束后，本地得到最终更新后的侧网络参数。