摘要
本发明涉及人工智能技术领域,是一种融合知识图谱与自蒸馏的命名实体识别方法,其包括以下步骤:获取待处理文本数据和对应的知识图谱;采用预训练语言模型编码文本特征,采用知识嵌入模型将知识图谱的实体和关系映射为向量,通过交叉注意力机制融合文本特征与知识向量,生成增强特征;构建教师模型和学生模型,通过自蒸馏机制训练学生模型,计算学生损失函数和蒸馏损失函数并加权求和得到总损失函数,根据总损失函数更新学生模型参数,在每轮训练后若学生模型性能指标优于历史最优值则更新教师模型参数,训练完成后输出实体识别结果。本发明能融合外部知识提升识别精度,同时通过自蒸馏降低模型复杂度。
技术关键词
命名实体识别方法
融合知识图谱
预训练语言模型
交叉注意力机制
学生
文本特征向量
蒸馏
教师
条件随机场
融合外部知识
参数
生成知识图谱
序列
人工智能技术
标签
数据
编码
系统为您推荐了相关专利信息
人体交互动作
动态上下文
交叉注意力机制
人体动作序列
文本
交通流预测模型
节点特征
编码器
Softmax分类器
短时交通流预测
近红外光谱技术
菊芋
理化指标含量
定量预测模型
连续投影算法
融合特征
生成图像特征
图像分割方法
图像感兴趣区域
图谱