一种基于Spark负载均衡的任务调度方法和系统

本发明公开了一种基于Spark负载均衡的任务调度方法，其首先获取计算资源信息，数据存储信息，并定义通信成本计算方式，再对三者进行统一建模；然后采用匈牙利算法对建立的统一模型求得全局状态下的最优解；最后将获得的任务调度表内置于Spark自带的任务调度器内部，并屏蔽原有的基于贪心算法的调度方案。本发明能够解决现有使用贪心算法的调度方法由于该方法在执行的每一步都选择当前最优，而缺少全局视角，因此导致最终的调度策略陷入局部最优的情况，进而影响调度性能的技术问题，以及由于该方法仅仅考虑到本地性级别高带来的性能提升，却没有考虑等待时间带来的性能的损耗，因此会造成总体通信消耗大、CPU利用率低的技术问题。