一种大语言模型微调方法及装置

本发明公开了一种大语言模型微调方法及装置，包括获取微调文本数据集，并对微调文本数据集进行预处理，输出微调文本验证集和多个微调权重增量矩阵；对各微调权重增量矩阵进行逐层折叠，确定初始三阶张量；采用预置张量奇异值阈值算法对初始三阶张量进行秩约束，确定目标三阶张量；基于目标三阶张量，确定二阶低秩全局微调权重增量矩阵；采用二阶低秩全局微调权重增量矩阵和微调文本验证集对预置初始大语言模型进行权重微调，确定目标大语言模型；解决了现有的大语言模型微调方法导致大语言模型的性能较差的技术问题。