摘要
本发明公开了一种基于图增强学习的文档级事件因果关系识别方法,包括以下步骤:获取包含事件的文本数据;利用大语言模型作为外部知识库和推理器,生成先验因果图,获取初始图结构;利用长文本预训练语言模型获取上下文化事件表示和计算事件对相关程度,提供先验知识;引入注意力掩码和自注意力初始化机制,生成事件的上下文化表示,将先验因果图和上下文化事件相关度融入Transformer模型,以指导和控制模型的训练;使用图重构损失和注意力分布偏移正则化损失来训练和优化模型;输出基因数据库中提取的事件之间的因果联系。本发明引入基于事件相关度的自注意力初始化机制,并将Transformer的注意力限制在合理的分布空间。
技术关键词
识别方法
初始化机制
预训练语言模型
文本
生成事件
大语言模型
节点连接结构
神经网络单元
多头注意力机制
重构
平衡标签
平衡场景
有向无环图
标记
掩码矩阵
多层感知机
系统为您推荐了相关专利信息
召回方法
分片
拓扑特征
特征提取模型
文本特征向量
攻击识别方法
WGAN模型
BERT模型
数据
序列
图像分析系统
图像分析方法
跨模态关联学习
自然语言文本
视觉特征
语义知识库
视觉特征提取
图像传输方法
接收端
索引
情感分析方法
视觉特征
文本编码器
特征提取模块
图像