摘要
本发明提供一种基于伪标签的意图识别模型训练方法、意图识别方法和装置,方法包括:将样本文本输入到语言模型中提取特征向量;基于特征向量对样本文本聚类,将聚类结果作为伪标签,计算有标注样本文本的真实标签与伪标签的归一化互信息;确定每个样本对应的置信度分数;置信度分数用于量化伪标签中的噪声,筛选高置信度样本并将对应的伪标签作为自监督信号,迭代优化语言模型直到收敛;迭代后重新初始化聚类,更新聚类结果、归一化互信息和迭代次数;在迭代次数达到上限或归一化互信息增幅小于阈值时,终止训练并将语言模型确定为意图识别模型;能够解决噪声伪标签不断传播积累,导致模型识别新意图的能力下降的问题;提高模型识别新意图的能力。
技术关键词
意图识别模型
样本
置信度阈值
文本
标签
意图识别方法
意图类别
优化器
动态
聚类
语义向量
预训练语言模型
语义特征
K近邻算法
参数
指令
非线性
电子设备
噪声
系统为您推荐了相关专利信息
可见光图像
红外光
识别模型训练方法
行人重识别模型
语义
矿山灾害
分级预测方法
皮尔逊相关系数
样本
数据
医学影像特征
推荐系统
加权特征
文本
特征提取单元
面部表情识别模型
面部表情识别方法
噪声图像
监督学习方法
注意力