基于轻量化预训模型与注意力机制的长文本指令抽取方法

本发明涉及一种基于轻量化预训模型与注意力机制的长文本指令抽取方法，解决了常规指令抽取模型在针对长文本进行抽取时遇到信息量大且其中信息熵程度高、碎片化严重的难题。针对于多实体多指令的长文本抽取难度系数大的情况，引入一种轻量化的预训练模型MacBERT，通过其对长文本进行编码与特征挖掘，在下游任务模型中构建多层级的抽取模型，利用其并行分析长文本中存在命名实体文本、种类，在此基础上进一步识别命名实体中的主体以及其相关的实体，最后通过实体位置的重合区域，抽取出长文本中存在的多条指令的结构体。本发明减少了重复运算所耗费的算力，提升指令模型的泛用性，同时提升对复杂长文本的抽取准确率。