一种基于Apache Flink的乱序数据流聚合速率限制方法

本发明公开了一种基于Apache Flink的乱序数据流聚合速率限制方法。本发明提出的流处理系统额外包括了流聚合速率限制器和水深线。本发明应用在聚合存在层级结构(一种分层的DAG图)的结构上，面向有状态的分布式流聚合问题，以向上传递节点状态的方式优化聚合性能。本发明采用Apache Kafka与生产者和消费者沟通。聚合更新时，根据聚合更新速率是判断上传中间聚合结果还是上传阻塞状态，减少更新无意义的聚合中间结果的维护成本，然后根据阻塞状态来灵活标注水深线形成深水区，深水区限制聚合更新从而降低聚合更新频率，从而降低聚合算法的总体开销。