一种基于多任务学习与知识蒸馏的文档级关系抽取方法

AITNT
正文
推荐专利
一种基于多任务学习与知识蒸馏的文档级关系抽取方法
申请号:CN202411967292
申请日期:2024-12-30
公开号:CN119761495B
公开日期:2025-11-14
类型:发明专利
摘要
本发明公开了一种基于多任务学习与知识蒸馏的文档级关系抽取方法,该方法包括:获取待抽取文档文本,将其输入训练后的文档级关系抽取模型,输出相应的文档级文本关系;该文档级关系抽取模型包括特征提取模块、教师模型和学生模型,该模型的训练过程包括:利用人工标注的文档数据通过多任务学习预训练得到教师模型;利用预训练的教师模型对未标注证据信息的文档数据进行证据补全;利用证据补全后的文档数据训练学生模型;所述训练后的文档级关系抽取模型包括特征提取模块和训练后的学生模型。本发明能够准确提取文档中的上下文语义信息,通过知识蒸馏有效缓解数据稀疏性问题,实现文档级关系的高效抽取,显著提升模型在复杂语境下的性能。
技术关键词
实体 关系抽取方法 关系抽取模型 特征提取模块 三元组 教师 蒸馏 识别模块 数据 多任务学习模型 sigmoid函数 学生 上下文语义信息 字符 编码器 超参数 生成文档
系统为您推荐了相关专利信息
1
一种视觉检测系统及其应用方法
视觉检测系统 标记缺陷位置 卷积神经网络提取 激光扫描单元 图像采集模块
2
一种基于宽线性处理的信号处理方法及系统
信号处理系统 信号处理方法 特征提取模块 频域特征提取 传感器接口模块
3
一种急诊内科病情智能评估与预警系统
算法模型 风险 预警系统 电子健康记录 指数
4
交通数据融合的异常事件识别方法、装置、设备及介质
交通特征 异常事件 多源交通数据 分片 训练特征
5
目标检测模型训练及目标检测方法、装置和设备
图像 检测模型训练方法 学生 对象 教师
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号