摘要
本发明提出一种基于标签感知注意力引导的关系抽取方法,包括S1、在大语言模型每一层的注意力计算过程中,识别示例中与关系标签相关的token,构造用于表示大语言模型更关注位置的标签掩码;S2、将标签掩码的维度扩展对齐到多头注意力的维度,并与偏置因子相乘得到标签感知偏置;S3、将标签感知偏置加到大语言模型的注意力分数矩阵上,形成新的标签感知注意力得分和新的大语言模型;S4、利用新的大语言模型对待测样本进行n‑shot预测,得到关系预测结果。本发明提供的关系抽取方法增强了模型对与标签相关的上下文信息的学习能力,并在一定程度上实现了噪声的抑制和错误预测的修正,最终提高了关系预测的精确度。
技术关键词
关系抽取方法
注意力
标签
字符串匹配算法
大语言模型
融合策略
置信度阈值
矩阵
因子
计算方法
超参数
索引
实体
样本
键值
文本
格式
噪声
系统为您推荐了相关专利信息
待测物质
官能团
物质识别方法
模型构建方法
标签
智能管理方法
特征工程技术
参数
数据采集管理
大数据分析技术
智能优化节能系统
产品流转设备
虚拟电子标签
企业
无线网络
关键帧
通道注意力机制
生成方法
双向长短期记忆网络
动画