一种基于大语言模型的长序列处理方法、系统及介质

本发明涉及人工智能技术领域，尤其是指一种基于大语言模型的长序列处理方法、系统及介质，包括：将长序列作为训练样本输入参数冻结的大语言模型，经过一次前向传播和反向传播后，以嵌入层输出的令牌嵌入的梯度作为指标识别关键令牌，并利用无关令牌嵌入的梯度调整无关令牌嵌入，关键令牌嵌入不变，得到去噪后的令牌嵌入；解冻模型参数，将去噪后的令牌嵌入经过一次前向传播和反向传播，对模型参数进行更新，直到网络收敛；将待处理的长序列输入完成训练的大语言模型，得到响应结果。本发明有助于大语言模型在训练过程中高效而准确地学习提取关键令牌，有效抑制了长序列中的背景噪音，使得完成训练的大语言模型能够输出准确的响应结果。