一种结合Transformer模型和循环神经网络的恶意流量检测模型训练方法和检测方法

本发明公开了一种结合Transformer模型和循环神经网络的恶意流量检测模型训练方法。包括以下步骤：初始化训练参数；收集网络流量数据，对流量数据进行标注并组成训练集与测试集；遍历训练集，提取和预处理数据包信息，得到数据包头文本矩阵、数据包内容文本矩阵及时间戳向量；将所述数据包头和数据包内容文本信息的矩阵与所述时间戳向量输入RoBERTa模型和补充模块中，经过处理得到特征矩阵，将特征矩阵依次输入全连接层、softmax头，得到分类结果；计算损失函数值并使用DP‑Adam算法更新RoBERTa参数、SGD算法更新补充模块权重，进行多轮训练，得到最终模型。本发明利用RoBERTa模型强表征能力和补充模块减少语言特征丢失，同时嵌入时间戳以减少时间特征丢失，使用DP‑Adam算法保护数据隐私。