摘要
本发明提供一种轻量级工单业务类型识别模型训练方法、识别方法及装置,通过对工单样本数据进行清洗和文本增强扩充样本数量,在对工单样本数据的文本内容进行词嵌入的基础上,还对产生日期和产生时间进行向量化,以挖掘工单分类结果与产生时间的关系。对线性全连接层主导的大规模参数教师模型进行训练后,基于知识蒸馏的方式训练长短期记忆网络和注意力网络主导的学生模型,在参数更新过程中结合预测结果的硬损失、学生模型与教师模型预测分布差异的蒸馏损失和中间特征对齐损失,在获得轻量化工单业务分类识别模型的基础上保证模型识别精度,节约算力资源减少对硬件能力的需求。
技术关键词
识别模型训练方法
教师
学生
长短期记忆网络
文本
识别方法
蒸馏
分类识别模型
数据
输出特征
同义词
注意力
参数
指令
标签
中文分词
大语言模型
训练样本集