摘要
本发明公开一种基于异构联邦学习的网络流量大模型构建方法,包括以下步骤:对网络流量数据进行解析、清洗和格式化处理,构造问答对;利用大型语言模型对公共数据集进行语义等价重述生成增强数据集;对生成式基础模型进行架构优化替换原始输出层为可自定义的网络分类头;将教师模型解耦为仿真器和适配器;为学生模型的仿真器和适配器初始化LoRA模块;客户端根据本地资源自适应调整LoRA秩;客户端仅微调适配器LoRA模块参数,冻结其他参数;服务器采用加权堆叠算法聚合客户端上传的LoRA模块;本发明具备良好的通用性与可扩展性。
技术关键词
模型构建方法
仿真器
适配器
客户端
异构
网络流量数据
Softmax函数
格式化
学生
教师
高维特征向量
矩阵
模块
存储计算机程序
大语言模型
参数
决策
语义特征
服务器
两阶段