摘要
一种基于超网络的持续学习关系抽取方法,涉及自然语言处理和机器学习领域。模型含样本编码器、基于超网络的网络生成器和任务特定的投影头;样本编码器用于获取每个实例的嵌入表示;网络生成器为当前任务生成特定的投影头,投影头用于执行该特定任务的分类。为减少模型表示空间中类似关系之间的冲突,创建特定的投影头。对于新任务,初始化一系列特定任务的嵌入。这些嵌入输入网络生成器,创建一个用于当前任务关系分类的专用投影头。每个任务都有其特定的表示空间。有效减轻模型表示空间中类似关系的冲突。训练模型过程中采用新任务训练、样本选择和多任务重放,通过跨任务损失和对比学习等策略,有效缓解灾难性遗忘问题。
技术关键词
样本
关系抽取方法
超网络
多任务
编码器
原型
记忆
实体
数据
训练集
语义
生成关系
关系抽取系统
典型
可读存储介质
标签
聚类
系统为您推荐了相关专利信息
排队时间预测方法
多头注意力机制
前馈神经网络
样本
编码机制
带宽估计方法
无线通信系统通信技术
时延
马尔可夫链模型
表达方法
电池性能检测系统
剩余寿命预测模型
趋势预测模型
数据传输模块
电池性能检测技术