一种基于大模型知识蒸馏的文档级事件抽取方法及装置

AITNT
正文
推荐专利
一种基于大模型知识蒸馏的文档级事件抽取方法及装置
申请号:CN202510034936
申请日期:2025-01-09
公开号:CN119962515A
公开日期:2025-05-09
类型:发明专利
摘要
本发明提出一种基于大模型知识蒸馏的文档级事件抽取方法,包括:构建训练文档的事件本体信息;基于事件本体信息和大语言模型,构建训练文档的包含上下文信息的事件抽取问题;获取与事件抽取问题匹配的强相关片段;以教师模型基于该强相关片段生成软标签,以软标签构建软标签数据集;构建问答模型,以软标签数据集训练问答模型;以完成训练的问答模型,对目标文档进行事件抽取操作。本发明还提出一种基于大模型知识蒸馏的文档级事件抽取装置。本发明提供一种文档级事件抽取的方法,利用预训练大模型的知识,将其在长文本和复杂事件处理方面的丰富信息迁移到较小的问答模型中,在较少标注数据的情况下,提高事件识别和论元提取的准确率。
技术关键词
事件抽取方法 问答模型 标签 抽取装置 计算机可执行指令 教师 蒸馏 BERT模型 事件识别 数据 答案 条目 可读存储介质 关键词 训练集 电子设备 模块 文本 编码
系统为您推荐了相关专利信息
1
一种基于知识蒸馏的视频问答模型及多模态知识蒸馏方法
知识蒸馏方法 动作特征 问答模型 语义特征 嵌入特征
2
一种结合主动学习与自训练的半监督中文地名识别方法
LDA主题模型 地名识别方法 主动学习方法 查询策略 文本
3
基于AI多源融合及视觉补偿的室外热舒适评价系统及方法
热舒适评价 深度学习语义分割 XGBoost算法 视觉 街景
4
基于图像识别技术的机房巡检方法及其装置
巡检图像 机房巡检方法 图像识别技术 参数 主备关系
5
一种音频处理方法及相关装置
特征提取模型 注意力 神经网络模型 动态贝叶斯网络 编码器
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号