基于局部扰动预修复的大语言模型可进化分词方法和装置

本发明提供基于局部扰动预修复的大语言模型可进化分词方法和装置，涉及人工智能技术领域，所述方法包括：确定用户输入的原始问询和大语言模型的分词经验库；其中，所述分词经验库包括经验子序列和对应的分词规则；基于所述经验子序列和对应的分词规则对所述原始问询进行局部扰动预修复，生成重写问询；将所述重写问询输入所述大语言模型，得到所述大语言模型输出的回复；其中，所述大语言模型是通过已有方法预训练或后训练得到的模型，该分词方法能够提升用户的输入问询与大语言模型的输入适配性。