基于混合量化的大模型精调方法及相关设备

本申请提供一种基于混合量化的大模型精调方法及相关设备，包括：步骤确定待训练模型的若干参数矩阵、用于对待训练模型进行训练的若干量化方法和限制条件；根据所述限制条件和若干所述量化方法，对任一所述参数矩阵进行迭代量化，确定任一所述参数矩阵的量化损失值集和显存占用数值集；根据所述量化损失值集和所述显存占用数值集，通过优化方法确定任一所述参数矩阵的最优量化算法；根据若干所述最优量化算法，对所述待训练模型中的若干参数矩阵进行迭代混合量化，确定大模型；通过精调算法对所述大模型的低秩组件的参数进行调整，完成模型精调。