一种大数据管道中强化学习驱动的智能伸缩与调优方法

本发明涉及一种大数据管道中强化学习驱动的智能伸缩与调优方法，涉及大数据处理与计算技术领域，包括：(1)数据管道运行与状态监控；(2)资源指标与特征提取；(3)数据预处理与模型初始化；(4)运行基于LinUCB的动态调整算法；(5)周期性重置与快速响应机制；(6)资源配置结果应用与评估；(7)调优结果保存与持续优化；本发明基于上下文老虎机算法的动态调整策略，通过实时采集Apache NiFi数据管道的系统状态特征，结合在线学习机制，逐步优化线程数、内存分配和CPU核心数的配置，并基于此实现数据管道的智能伸缩与调优，以提升吞吐率、资源利用率和负载均衡能力。