一种领域中文语言预训练模型构建的方法

本发明公开了一种领域中文语言预训练模型构建的方法，其包括：构建领域的实体词库，所述实体词库包括实体词以及实体关系；获取训练文本数据，对所述训练文本数据进行遮罩处理和词向量嵌入处理，得到对应的词向量序列；根据词向量序列、空间关系位置编码序列和包含有实体关系的两个句子的正序列和负序列，对基于多层Transformer模型的RoBERTa模型进行训练得到训练完成的预训练模型，将所述预训练模型接入相对应的下游任务，实现下游任务迁移。本发明能够有效提取专业领域知识以及提升对专业领域的语义理解。