一种基于Transformer改进算法的企业金融风险分类标注方法

本发明提供了一种基于Transformer改进算法的企业金融风险分类标注方法，包括以下步骤：收集文本数据得到文本输入表示；基于文本输入表示构建增强特征矩阵；移除原始Transformer模型的最后全连接层，并引入新全连接层，得到改进输出层和改进Transformer模型；将增强特征矩阵输入改进输出层以计算得到分类概率分布；构建标注数据集，训练和优化改进Transformer模型，得到用于对企业金融风险进行分类标注的Transformer分类标注模型。本发明通过结合Transformer与随机森林算法的优势，提高了企业金融业务风险标注分类的准确性和实用性，进而显著提升风险判断的效率。