摘要
本发明具体公开了一种基于三角度注意力和实体‑关系相关性的DocRE方法,属于自然语言处理技术领域。该方法首先将输入文档编码至预训练语言模型PLM,获取嵌入表示及多头注意力矩阵;接着设计实体对‑上下文注意力、实体对‑证据注意力和实体对间注意力三种机制,并通过注意力迁移模块对三类注意力信息进行特征对齐与加权融合,生成统一的实体对语义表示;然后构建实体‑关系共现图,借助图注意力网络实现节点特征聚合与传播,获取实体‑关系共现特征;最后将融合语义特征与共现特征拼接,用于实体对关系的分类预测。该方法有效提升了跨句推理能力和远距离实体建模效果,增强了模型对复杂关系的抽取准确性与泛化能力。
技术关键词
关系
注意力机制
融合语义
预训练语言模型
损失函数设计
挖掘实体
矩阵
焦点
节点特征
标签
自然语言
垂直轴
远距离
非线性
键值
系统为您推荐了相关专利信息
语音特征
文本
动画生成方法
生成对抗网络
头部姿态控制
楼宇自控系统
楼宇自控方法
逻辑
协议解析器
底座
全局特征提取
阵列
神经网络训练数据
线性单元
DOA估计