一种Flink框架下基于时延感知的动态数据分组方法及系统

本发明涉及一种Flink框架下基于时延感知的动态数据分组方法及系统，包括：统计数据流中的键值频率，根据键值频率划分高低频键值；计算高低频键值分配的候选实例个数，计算每个候选实例的完成时延，得到优先级列表；根据时延优先级列表，遍历当前待分配数据的集合，选择需要分配实例的数据；遍历时延优先级列表，优先将数据分配到完成时延最少的实例上执行；根据所选任务实例在任务执行过程中的运行时数据利用时延感知的负载模型更新所选任务实例的时延信息；重复执行步骤S2‑S6对数据分组执行，本发明有效提升了Flink集群在异构云环境中数据分组执行时集群的负载均衡程度。