基于动态低秩张量适应的模型微调训练方法、模型应用方法及相关装置

本申请涉及计算机技术领域，特别是涉及一种基于动态低秩张量适应的模型微调训练方法、模型应用方法及相关装置。一个实施例的基于动态低秩张量适应的模型微调训练方法包括：获取预训练模型；为预训练模型的模型参数添加微调参数获得不同层的微调参数矩阵，将多个层的微调参数矩阵合并为一个微调参数张量并分解为一个核心张量与两个低秩因子矩阵，获得待微调参数；通过样本数据对预训练模型进行微调，在微调过程中冻结预训练模型的原始参数，按顺序对核心张量与两个低秩因子矩阵进行更新，并对更新后的核心张量的切片矩阵进行低秩调整，获得更新后的微调参数。采用本实施例的方案，可以在减少参数微调成本的同时还可以进一步提高得到的模型的性能。