摘要
本申请公开了一种文本分类方法及相关装置、设备和存储介质,其中,文本分类方法包括:基于待分类文本的目标分类任务进行预测,得到低秩专家的索引值;基于索引值截取低秩专家矩阵中至少部分,得到目标专家矩阵;获取待分类文本的文本特征表示由预训练语言模型处理所得的第一编码表示,并获取文本特征表示由目标专家矩阵处理所得的第二编码表示;基于第一编码表示与第二编码表示进行预测,得到待分类文本在目标分类任务下的目标类别。上述方案,能够在多文本分类任务的场景下,提升利用LoRA辅助预训练语言模型进行文本分类的准确性。
技术关键词
预训练语言模型
矩阵
文本分类方法
索引
样本
预测类别
文本分类装置
编码模块
参数
程序
处理器
指令
可读存储介质
存储器
注意力
电子设备
计算机
系统为您推荐了相关专利信息
风机功率预测方法
动态卡尔曼滤波
滞后特征
序列
协方差矩阵
编码特征
情感语音转换方法
声码器
样本
卷积特征