摘要
本发明提出一种基于大模型知识蒸馏的文档级事件抽取方法,包括:构建训练文档的事件本体信息;基于事件本体信息和大语言模型,构建训练文档的包含上下文信息的事件抽取问题;获取与事件抽取问题匹配的强相关片段;以教师模型基于该强相关片段生成软标签,以软标签构建软标签数据集;构建问答模型,以软标签数据集训练问答模型;以完成训练的问答模型,对目标文档进行事件抽取操作。本发明还提出一种基于大模型知识蒸馏的文档级事件抽取装置。本发明提供一种文档级事件抽取的方法,利用预训练大模型的知识,将其在长文本和复杂事件处理方面的丰富信息迁移到较小的问答模型中,在较少标注数据的情况下,提高事件识别和论元提取的准确率。
技术关键词
事件抽取方法
问答模型
标签
抽取装置
计算机可执行指令
教师
蒸馏
BERT模型
事件识别
数据
答案
条目
可读存储介质
关键词
训练集
电子设备
模块
文本
编码
系统为您推荐了相关专利信息
知识蒸馏方法
动作特征
问答模型
语义特征
嵌入特征
LDA主题模型
地名识别方法
主动学习方法
查询策略
文本
热舒适评价
深度学习语义分割
XGBoost算法
视觉
街景
巡检图像
机房巡检方法
图像识别技术
参数
主备关系
特征提取模型
注意力
神经网络模型
动态贝叶斯网络
编码器