垂直领域大模型构建方法、装置、设备和存储介质

本发明实施例提出一种垂直领域大模型构建方法、装置、设备和存储介质，其中的方法包括：构建目标垂直领域对应的指令数据集；指令数据集包括多个任务指令、以及每个任务指令对应的输入信息和知识信息；构建与多个任务指令一一对应的多个初始化参数矩阵；每个初始化参数矩阵均包括依次连接的降秩矩阵和增秩矩阵；在目标垂直领域中已有的原始大模型中引入多个初始化参数矩阵，并通过指令数据集对多个初始化参数矩阵的参数进行迭代更新，并保持原始大模型的原始参数不变，直至多个初始化参数矩阵收敛时，得到垂直领域大模型；其中，所述降秩矩阵和增秩矩阵的各自维度均小于所述原始大模型的维度。由此实现兼顾垂直领域大模型的质量和训练成本。