基于多目标强化学习的分布式流处理系统参数调优方法

本发明公开了一种基于多目标强化学习的分布式流处理系统参数调优方法，首先设计了实时采集流处理作业算子状态的方法，用于为调优过程提供数据支持；进而设计了一种离线多目标强化学习方法，以在系统性能和资源使用效率的不同权重下快速学习全量参数空间的最优配置值；此外，本发明还设计了一种动态调整参数的方法，实现在动态工作负载下的平滑适应，确保作业图兼容性，且最小化生产环境下切换配置的成本。由此，本发明能在动态工作负载下快速自适应调优，有效平衡分布式流处理系统的性能与资源开销，降低流处理服务用户的运行成本。