一种结合句法信息和预训练语言模型的中文文本语法纠错方法

本发明公开了一种结合句法信息和预训练语言模型的中文文本语法纠错方法，通过在预训练语言模型Chinese BART中融入句法信息，可有效提升中文语法纠错能力。该方法包括以下步骤：导入数据集并转换为目标格式；利用HanLP生成句法信息，将词性标签和依存关系转化为向量，与默认词嵌入进行融合；编码阶段使用句法增强的多头自注意力机制及残差网络；解码阶段利用自注意力机制和编码器‑解码器注意力机制结合句法信息进行生成，结合残差网络让解码器逐步优化；使用Beam Search来生成多个候选句，依据句法一致性和语义合理性选取最优候选句。本发明通过结合句法信息和预训练语言模型，让模型学习句子的语义信息并关注句法结构，有助于提升模型的中文语法纠错能力。