一种基于自适应选择性掩码的领域预训练的新闻分类方法

本发明涉及一种基于自适应选择性掩码的领域预训练的新闻分类方法，属于自然语言处理技术领域。本发明包括步骤：在BERT分类模型的通用预训练和微调之间增加一个领域特定预训练阶段，在领域引导预训练过程中提供一种自适应选择掩蔽策略；对BERT分类模型的每一层使用不同的学习率进行微调，具体的是为不同的层设置不同的学习率；检查并删除下游监督学习任务中可能存在的错误标签数据，重新加权并重新训练标签数据。本发明提高了模型的预训练效率和新闻文本分类的准确性。