摘要
本发明公开了一种基于引入注意力机制的长短时记忆网络的知识图谱构建方法,具体包括:S1:对数据集进行分句、分词预处理,包括去除噪声、特殊字符和停用词;S2:对分词后的数据进行BIOES标签标注,并引入层级关系;S3:建立字词向量表示,引入BERT模型捕获上下文信息,为字词向量提供深层次语义理解;S4:建立Bi‑LSTM神经网络层,并利用所述Bi‑LSTM神经网络层获得每个单词对应于每个标签的得分概率,并在Bi‑LSTM层之后加入注意力机制,捕捉长距离依赖关系;S5:建立CRF‑GNN层,获得最大概率的输出标注序列;S6:对抽取信息进行后处理。本发明通过使用Bi‑LSTM与CRF两个模型进行融合,可以对标签序列给予相应的约束,来解决信息提取输出逻辑混乱的问题。
技术关键词
知识图谱构建方法
引入注意力机制
BERT模型
序列
Word2Vec模型
字词
Viterbi算法
分词
标签
网络
多语言
关系
构建知识图谱
层级
语义
语法特征
字典
数据
系统为您推荐了相关专利信息
动态追踪方法
长短期记忆网络
强化学习模型
节点
序列
地质灾害风险
智能预警系统
三维网格模型
序列
子模块
筛查系统
医疗知识图谱
慢阻肺患者
特征提取模型
高维特征向量