一种基于大语言模型进行海关命名实体识别方法

本发明涉及实体识别技术领域，尤其涉及一种基于大语言模型进行海关命名实体识别方法，包括采集海关法规和税则文本；按照提示词模版将标注文本构建为Alpaca格式；利用自注意力机制计算输入序列中每个词对其他词的注意力权重；利用前馈神经网络对自注意力机制的输出进行处理，得到文本数据的嵌入向量；将嵌入向量使用LoRA对Llama3预训练模型进行增量训练，并插入低秩矩阵，通过损失函数进行梯度下降训练；将低秩矩阵与Llama3预训练模型的权重增量进行合并。本发明明显著降低了标注数据的需求，提高了实体识别的效率和准确性，为海关管理部门提供了一个高效、可靠的文本处理工具。