摘要
本申请涉及ETL资源优化技术领域,具体涉及一种ETL管道动态资源优化方法、系统、设备及介质,包括:采集ETL管道运行环境时序数据,按时间窗口划分后进行标准化处理;使用线性负载预测模型生成系统负载指标线性预测序列;使用预训练的多维时序负载预测模型生成系统负载指标耦合预测序列;将两种预测序列整合后进行反标准化得到原始系统负载指标综合预测序列;基于原始系统负载指标综合预测序列识别系统负载的高峰时段、低谷时段和资源异常紧张时段,根据识别结果动态调整ETL任务的调度策略并执行。本申请通过采集多源时序数据、结合两种模型生成综合预测序列,并动态调整调度策略,实现了ETL管道资源的自动化优化和系统效率提升。
技术关键词
动态资源优化方法
集群系统
指标
最佳参数组合
线性
管道
模型生成系统
AIC准则
任务调度
工业设备
序列识别
资源优化技术
多源时序数据
训练集
策略
主成分分析算法
LSTM算法