摘要
本发明公开一种基于预训练模型的中文命名实体识别方法,用于知识图谱半自动化构建任务。该方法基于预训练模型BERT,先对输入文本字符token构建Trie结构得到[字符‑词语]对序列,将标注好的训练集输入BERT进行编码;在BERT内部Transformer层引入Lexicon Adapter结构,融合候选词汇向量与BERT内部隐藏状态;将融合后的文本特征输入eLSTM网络挖掘上下文关系,再将其输入CRF层实现实体标签输出。本发明通过改进字词信息特征融合计算方法,采用交互注意力捕获更多非线性信息,引入eLSTM网络捕获上下文特征,能够有效提升命名实体识别模型的性能。
技术关键词
预训练模型
字符
词语
交互注意力
Viterbi算法
上下文特征
序列
命名实体识别模型
融合计算方法
中文命名实体
字词
文本
词典
语义特征
标签
深度神经网络
输入中文
训练集
系统为您推荐了相关专利信息
大语言模型
软件检测方法
软件检测系统
扫描工具
节点
医学知识图谱
实体对齐方法
实体识别模型
融合知识图谱
计算机执行指令
图像处理计算机
产品质量检测方法
产品质量检测装置
图片
字符