基于现代汉语语法经济安全领域训练的语言模型构建方法

本发明提供一种基于现代汉语语法经济安全领域训练的语言模型构建方法，包括：对获取的原始数据进行清洗，加入经济安全领域的专有名词词典；从整体语料中随机抽取15％的词语进行MASK；组织上下文训练语料，格式为语料中每两个连续的句子，定义起始符，句子中间用分隔符隔开，以此定义为正样本，以第二个句子为预料中随机抽取到的定义为负样本；随机初始化词嵌入矩阵，获取静态的词向量；定义句子编码器层；定义位置编码器层；采用双向的Transformer模型作为特征提取器，联系了上下文语义关系捕获句子中潜在的隐语义表征；在Attention注意力机制中加入了MASK遮蔽功能；预训练任务设计；模型训练；模型评估。