摘要
一种基于数据增强的小样本学习方法和系统。从多个数据源收集电力运维文本数据并进行预处理和标注,构建电力领域语料库;利用电力领域语料库对预定义的预训练语言模型进行微调,从电力领域语料库中训练电力领域词向量和实体向量,融入预训练语言模型;基于预训练语言模型进行命名实体识别和电力运维知识的多任务学习,结合对抗学习算法构建多任务对抗学习模型,采用多种数据增强策略来训练多任务对抗学习模型,利用多任务对抗学习模型通过集成学习和自训练进行数据预测;对模型预测结果进行评估,基于评估结果动态调整各个数据增强策略的权重。本发明提升了小样本学习性能。
技术关键词
多任务对抗学习
样本学习方法
预训练语言模型
命名实体识别
电力
数据
同义词
词向量训练方法
文本
学习算法
策略
运维知识图谱
实体链接技术
词语
机器翻译模型