大语言模型参数微调方法、系统、设备、存储介质及产品

本申请公开了大语言模型参数微调方法、系统、设备、存储介质及产品，涉及自然语言处理领域。所述微调方法包括获取预训练模型及其参数矩阵，并在预训练模型的自注意力层设置参数微调模块，参数微调模块包括不同任务类型的LoRA模块和一个路由器，每个LoRA模块包括通用特征矩阵和特定特征矩阵，多个LoRA模块的通用特征矩阵共享；获取微调数据集；加载并冻结预训练模型的参数矩阵，初始化参数微调模块的参数；基于微调数据集对参数微调模块的参数进行微调，得到微调后的大语言模型。本申请显著减少了MoE架构的参数，确保了模型最大限度地捕获各种任务的差异，确保了模型跨任务的泛化性。