大语言模型膨胀预训练方法、系统、电子设备及存储介质

本申请实施例提供了一种大语言模型膨胀预训练方法、系统、电子设备及存储介质，属于人工智能技术领域。该方法通过预先训练参数较小的第一语言模型，然后根据第一语言模型中目标网络的参数集合将目标网络拓展为第一专家网络和第二专家网络，将低秩矩阵映射单元添加到第二专家网络的输出层得到第三专家网络，将第三专家网络与第一语言模型中的第一专家网络进行拼接得到第二语言模型，再通过第二文本数据集对第二语言模型进行预训练得到大语言模型。通过对第二专家网络添加低秩矩阵映射单元，从而给两个专家网络结构进行差异化，使得两个专家网络具有不同的参数方向，增加大模型的拟合和表征能力。