一种基于图增强学习的文档级事件因果关系识别方法

AITNT
正文
推荐专利
一种基于图增强学习的文档级事件因果关系识别方法
申请号:CN202410736165
申请日期:2024-06-07
公开号:CN118627617A
公开日期:2024-09-10
类型:发明专利
摘要
本发明公开了一种基于图增强学习的文档级事件因果关系识别方法,包括以下步骤:获取包含事件的文本数据;利用大语言模型作为外部知识库和推理器,生成先验因果图,获取初始图结构;利用长文本预训练语言模型获取上下文化事件表示和计算事件对相关程度,提供先验知识;引入注意力掩码和自注意力初始化机制,生成事件的上下文化表示,将先验因果图和上下文化事件相关度融入Transformer模型,以指导和控制模型的训练;使用图重构损失和注意力分布偏移正则化损失来训练和优化模型;输出基因数据库中提取的事件之间的因果联系。本发明引入基于事件相关度的自注意力初始化机制,并将Transformer的注意力限制在合理的分布空间。
技术关键词
识别方法 初始化机制 预训练语言模型 文本 生成事件 大语言模型 节点连接结构 神经网络单元 多头注意力机制 重构 平衡标签 平衡场景 有向无环图 标记 掩码矩阵 多层感知机
系统为您推荐了相关专利信息
1
一种基于相似度检索的文本召回系统及方法
召回方法 分片 拓扑特征 特征提取模型 文本特征向量
2
一种基于深度学习的SQL注入攻击识别方法及系统
攻击识别方法 WGAN模型 BERT模型 数据 序列
3
基于视觉-语言大模型的经食道医疗图像分析系统及方法
图像分析系统 图像分析方法 跨模态关联学习 自然语言文本 视觉特征
4
图像传输方法及相关设备
语义知识库 视觉特征提取 图像传输方法 接收端 索引
5
一种多流链式感知增强的多模态方面级情感分析方法
情感分析方法 视觉特征 文本编码器 特征提取模块 图像
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号