一种基于词权统计和预训练模型的文本分类方法及装置

本发明公开了一种基于词权统计和预训练模型的文本分类方法及装置，主要包括以下步骤：获取文本语料并存储在文本数据库中；对文本语料进行数据清洗得到文本数据集；利用词频‑逆标签集频率算法生成词‑标签权重词典；利用词‑标签权重词典生成文本权重得分向量结合预处理后的文本经文本分类模型得到文本分类预测结果，对模型进行迭代训练；利用预训练后的文本分类模型对新输入文本进行分类。本发明将每个词相对于每个标签的重要程度作为先验知识，之后在文本分类模型中使用注意力机制将该先验知识融入预训练BERT模型输出的文本语义表示中，能够进一步提高文本分类的准确率和效率。