一种大模型训练样本重加权方法

本发明公开了一种大模型训练样本重加权方法，属于大模型训练技术领域，方法包括：选取训练集和验证集对大模型进行训练，并利用低秩适应方法将大模型的训练参数的变化量矩阵分解为两个低秩矩阵；基于低秩矩阵，提取训练样本和验证样本通过大模型进行前向传播和反向传播后在低秩适应层上的一维输入激活和一维输出梯度，并根据一维输入激活和一维输出梯度，计算训练样本的权重；基于训练样本的权重，对训练样本的损失值进行加权求和，获取训练样本的总损失，并利用训练样本的总损失对大模型进行反向传播和参数更新。该方法能够高效地为每个训练样本进行加权，减少显存开销。