摘要
本申请的实施例提供一种基于度量学习的小样本命名实体识别方法。应用于人工智能技术领域,包括:获取语料数据分为训练集和测试集,根据训练集构建实体类型到实体的映射;将训练集划分为支持集和查询集,并分别构建实体引导掩码提示,得到支持集句子输入增强序列和查询集句子输入增强序列,并采用预训练语言模型进行编码处理,得到支持集token编码和查询集token编码;计算两种编码的相似度,并构造相似度矩阵得到相似度分数,根据相似度分数计算损失函数,得到训练后的预训练语言模型;将测试集划分为支持集和查询集,输入到预训练语言模型中进行处理,进行实体类型预测。以此方式,本申请能够有效提升在小样本条件下文本分类的准确性及可靠性。
技术关键词
命名实体识别方法
预训练语言模型
编码
序列
度量
训练集
样本
矩阵
人工智能技术
数据
频率
注意力机制
标签
文本
标记