基于动态低秩矩阵自适应的参数高效微调方法及装置

本发明提供了一种基于动态低秩矩阵自适应的参数高效微调方法及装置，涉及神经网络技术领域，包括：对当前业务场景的神经网络的原始权重进行冻结；将低秩矩阵对插入至神经网络的可微调层级确定可微调层级的当前权重；通过神经网络基于当前权重针对输入的样本数据进行处理，以得到当前验证损失；通过老虎机驱动控制器，基于可压缩的候选秩集、当前验证损失和可微调层级对应的历史秩选择序列，对低秩矩阵对进行更新，重复这一过程直至满足条件时停止，基于更新后的低秩矩阵对和冻结的原始权重确定可微调层级的目标权重。本发明可以针对小样本微调场景下，缓解因固定秩方法而出现的过拟合或欠拟合问题。