一种ETL管道动态资源优化方法、系统、设备及介质

AITNT
正文
推荐专利
一种ETL管道动态资源优化方法、系统、设备及介质
申请号:CN202511086421
申请日期:2025-08-05
公开号:CN120578482B
公开日期:2025-11-14
类型:发明专利
摘要
本申请涉及ETL资源优化技术领域,具体涉及一种ETL管道动态资源优化方法、系统、设备及介质,包括:采集ETL管道运行环境时序数据,按时间窗口划分后进行标准化处理;使用线性负载预测模型生成系统负载指标线性预测序列;使用预训练的多维时序负载预测模型生成系统负载指标耦合预测序列;将两种预测序列整合后进行反标准化得到原始系统负载指标综合预测序列;基于原始系统负载指标综合预测序列识别系统负载的高峰时段、低谷时段和资源异常紧张时段,根据识别结果动态调整ETL任务的调度策略并执行。本申请通过采集多源时序数据、结合两种模型生成综合预测序列,并动态调整调度策略,实现了ETL管道资源的自动化优化和系统效率提升。
技术关键词
动态资源优化方法 集群系统 指标 最佳参数组合 线性 管道 模型生成系统 AIC准则 任务调度 工业设备 序列识别 资源优化技术 多源时序数据 训练集 策略 主成分分析算法 LSTM算法
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号