一种基于持续学习的林业预训练语言模型构建方法

一种基于持续学习的林业预训练语言模型构建方法，属于人工智能及计算机程序技术领域。林业语料库的构建：采用网络爬虫、数据库查询和信息提取方法从中国林业信息网、林业类北大核心期刊渠道收集与林业相关的术语、法律法规、文献三个主题的文本数据，并对其进行去除特殊符号、重复值以及分词等数据清洗和预处理后，得到三个用于预训练的林业语料库，并使用这三个不同主题的林业语料库，基于持续学习方法对通用领域的预训练语言模型BERT进行持续预训练，增强通用领域预训练语言模型在林业领域内的知识，最终形成能够持续学习的林业预训练语言模型ForestryBERT。