摘要
本发明实施例公开了一种文本处理方法和装置。通过获取待处理文本,根据待处理文本生成待处理数据,通过预训练的识别模型对待处理数据进行处理,并从第一预定编码器层获取第一隐层向量,从第二预定编码器层获取第二隐层向量,第一预定编码器层与所述第二预定编码器层为不同的编码器层,通过主题分类器根据所述第一隐层向量确定所述待处理文本的第一识别结果,通过黑白分类器根据所述第二隐层向量确定所述待处理文本的第二识别结果。由此,可以实现对文本进行流式处理,提升大语言模型的实时性和响应速度以及对文本识别的准确性。
技术关键词
主题分类器
分片
文本处理方法
计算机程序指令
数据
标记
文本处理装置
标签
样本
编码器模块
存储计算机程序
大语言模型
文本识别
注意力
处理器
可读存储介质
系统为您推荐了相关专利信息
图像自动识别系统
特征金字塔网络
数据采集模块
光照
识别模型训练
数据异常检测方法
统计特征
语义特征
梯度提升决策树
高价值特征