一种数据清洗方法

本申请公开了一种数据清洗方法，涉及自然语言处理技术领域，包括基于损失函数计算价值评估分数，此分数可衡量模型参数对词元预测的准确性，以通过分数识别出噪声和冗余等低价值词元。接着依分数排列并筛选预设区间的目标词元，从而把价值低、含噪声和冗余的词元清洗掉。如此一来，去除了对模型微调有负面影响的部分，让数据更纯净，提高了数据质量，解决了预训练语言模型监督微调过程中，数据质量受样本内词元层面噪声和冗余信息影响的技术问题。