摘要
一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法,包括:步骤1、对输入的时间序列数据通过RevIN方法进行数据规范化;步骤2、利用组合分解方法对时间序列进行分解为长期趋势和季节性;步骤3、构建小波傅里叶变换适配器,获取数据的局部周期特性和全局周期特征;步骤4、构建预训练大模型,对其前馈层和自注意力模块进行冻结,利用适配器微调方法,将步骤3构建的适配器插入到模型的自注意力模块之前;步骤5、将步骤4构建的预训练大模型与联邦学习框架结合,构成联邦大模型,服务器端下发模型参数,客户端通过本地数据训练后只上传适配器参数,服务器端接收参数后通过联邦近端算法进行参数聚合,服务器端和客户端经过多轮参数传输后,全局模型达到最优;步骤6、通过步骤5中得到的最优全局预测模型对时间序列数据可以实现最优的预测结果。
技术关键词
时间序列预测方法
适配器
客户端
规范化方法
样条
参数
变量
注意力
微调方法
时间序列预测模型
傅里叶变换方法
小波变换方法
离散采样值
多项式
连续小波变换
数据
信号
周期性特征
系统为您推荐了相关专利信息
验证终端
智能监管方法
智能监管系统
识别算法
AI算法
联合优化方法
回波
三次样条插值
粒子群算法
高阶相位