基于BERT的鲁棒性增强文本分类模型训练方法及系统

本发明公开了一种基于BERT的鲁棒性增强文本分类模型训练方法及系统，主要解决现有BERT模型在下游语言分类任务中稳定性和可靠性差的问题。其包括：在BERT预训练模型上搭建NSP任务的第一神经网络及下游文本分类任务的第二神经网络构建微调模型；获取模型所需的语言数据集，对每个样本添加标记和不影响分类任务的限制语句构成新样本；将全部样本分为多个集合，用一个集合的训练样本仅对微调模型的第二神经网络和BERT的参数进行训练，更新迭代完成后换下一个集合继续训练，直到达到设定的迭代次数或训练集损失在连续多个周期内变化幅度低于预设值，得到训练好的下游语言分类任务模型。本发明模型能有效提高分类精度和计算效率，可用于下游文本分类任务及意图识别场景。