神经网络预测代理的大语言模型预训练和主动微调方法

本申请涉及语言处理技术领域，特别涉及一种神经网络预测代理的大语言模型预训练和主动微调方法，其中，方法包括：获取大语言模型的训练数据集，提取训练数据集中每个训练样本的低维数据表征，将低维数据表征输入代理神经网络，得到每个训练样本预测的损失函数值，作为每个训练样本在大语言模型中近似评估的损失值；基于损失函数值从多个训练样本中主动采样多个目标样本并标注，根据多个目标样本组成当前训练批次，基于当前训练批次对大语言模型进行预训练或主动微调，得到的最新批次损失函数数据集用于优化并更新代理神经网络。由此，解决了大语言模型的预训练或者大规模主动微调过程中遇到的样本效率和计算效率较低、自适应鲁棒性差等问题。