一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法

AITNT
正文
推荐专利
一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法
申请号:CN202410730795
申请日期:2024-06-06
公开号:CN118690900A
公开日期:2024-09-24
类型:发明专利
摘要
一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法,包括:步骤1、对输入的时间序列数据通过RevIN方法进行数据规范化;步骤2、利用组合分解方法对时间序列进行分解为长期趋势和季节性;步骤3、构建小波傅里叶变换适配器,获取数据的局部周期特性和全局周期特征;步骤4、构建预训练大模型,对其前馈层和自注意力模块进行冻结,利用适配器微调方法,将步骤3构建的适配器插入到模型的自注意力模块之前;步骤5、将步骤4构建的预训练大模型与联邦学习框架结合,构成联邦大模型,服务器端下发模型参数,客户端通过本地数据训练后只上传适配器参数,服务器端接收参数后通过联邦近端算法进行参数聚合,服务器端和客户端经过多轮参数传输后,全局模型达到最优;步骤6、通过步骤5中得到的最优全局预测模型对时间序列数据可以实现最优的预测结果。
技术关键词
时间序列预测方法 适配器 客户端 规范化方法 样条 参数 变量 注意力 微调方法 时间序列预测模型 傅里叶变换方法 小波变换方法 离散采样值 多项式 连续小波变换 数据 信号 周期性特征
系统为您推荐了相关专利信息
1
一种业务请求交互方法、设备、介质及程序产品
交互方法 客户端 服务端 语义 识别码
2
基于AI识别算法的施工作业安全智能监管系统及方法
验证终端 智能监管方法 智能监管系统 识别算法 AI算法
3
目标散射参数估计与雷达频谱恢复的联合优化方法
联合优化方法 回波 三次样条插值 粒子群算法 高阶相位
4
Wayland环境下X窗口缩放的实现方法、装置、电子设备及存储介质
合成器 计算机执行指令 链表 因子 屏幕
5
一种面向分包机制的QUIC协议流量SNI字段提取方法
分包机制 QUIC协议 载荷 客户端 字段
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号