解决英文实体识别token数量与word数量不一致的方法

本发明属于自然语言处理技术领域，且公开了解决英文实体识别token数量与word数量不一致的方法，该方法具体步骤如下：S1:句子预处理与单词级别打标签；S2:字母组合切分；S3:词嵌入；S4:上游模型处理；S5:池化操作：S6:下游模型处理：S7:输出标签序列。本发明通过优化处理流程，成功解决了字母组合级标注导致的资源浪费问题，避免了不必要的计算开销，同时，该方案还克服了单词级别预测中单词与字母组合对应关系难以学习的难题，确保了模型更准确地捕捉文本内部的语义和形态信息，实验结果显示，采用字母组合级别的处理方法相较于传统方法，在性能上实现了显著提升，准确率提高了3个百分点。