一种面向Flink流式分析应用的动态负载分发方法、系统、设备及介质

本发明公开了一种面向Flink流式分析应用的动态负载分发方法和系统，涉及数据处理技术领域，包括针对不同的数据分布场景和集群配置，制定不同的负载分发策略；当系统运行时，使用当前场景和配置下的默认负载分发策略，采样线程对数据随机采样，基于所采集的数据筛选出最优负载分发策略；将配置切换为最优负载分发策略的指令下发到KeyBy算子配置管理模块上，切换负载分发策略；在切换负载分发策略时，基于ABS算法进行负载分发策略的动态调整。本发明分别设计了适用于4种不同数据分布场景的数据分发新策略，并基于负载均衡状态在线监测提出运行时负载分发策略的动态调整机制，从而实现流式处理系统的自适应动态负载均衡。