基于预训练模型增强的图谱关系抽取方法

本发明公开了基于预训练模型增强的图谱关系抽取方法，所述方法包括：构建关系抽取模型，包括分组悬浮标记、预训练语言模型和关系预测层；文本数据预处理及分组悬浮标记初始化，得到文本及悬浮标记的特征序列；计算注意力掩码；使用注意力掩码控制预训练语言模型特征传播方向，提取出悬浮标记对的特征；把悬浮标记对的特征输入关系预测层，得到关系概率向量；对关系概率向量计算损失函数，优化损失函数，训练关系抽取模型，用关系抽取模型进行关系抽取。本发明提出了分组悬浮标记的实体对表示方法，通过对悬浮标记进行分组，每个组复用头实体的特征，设计特定的注意力掩码，实现实体对特征的高效聚合，在较少计算量下实现了高精度的关系抽取。