一种基于时空感知的流式计算作业调度方法

本发明涉及一种基于时空感知的流式计算作业调度方法，属于大数据处理技术任务调度领域。首先，对当前时刻的移动物体进行两阶段聚类，保持局部性的同时达到数据均匀；其次，在当前时刻两阶段聚类的基础上，对最新时刻的移动物体进行动态增量聚类，降低切换成本；随后，使用数据偏移、数据局部性、切换成本与综合指标来评价动态增量聚类算法的聚类质量；最后，将动态增量聚类后的每个簇映射到流式计算引擎的不同分区，再将每个分区调度到不同的计算任务，执行各种实时计算。本发明解决了大规模交通场景下任务实时调度的问题，通过保持局部性，降低数据偏移，减少切换成本，显著节省了计算资源。