一种基于预训练语言模型融合深度卷积网络的文本分类方法

本发明公开了一种基于预训练语言模型融合深度卷积网络的文本分类方法，包括以下步骤：首先，通过RoBERTa模型对输入文本进行特征提取；然后，将RoBERTa输出的特征输入多头注意力网络，获取深度语义信息；接着，将多头注意力的输出输入到多层残差结构的卷积神经网络中，获取深层卷积网络特征；最后，将多头注意力的输出引入可学习维度变换矩阵，通过优化维度特征，生成适合分类任务的低维表示，并与多层卷积神经网络的输出在全局最大池化操作后进行融合，统一全局和局部特征的语义表示。融合后的特征通过全连接层生成最终的分类结果。本发明通过多头注意力机制和深度卷积网络的融合，能够充分提取全局语义和局部特征，从而显著提高了分类任务的效率与效果。