一种大数据任务的智能调度系统

本发明涉及一种大数据任务的智能调度系统，包括定时实时任务调度引擎和离线任务调度引擎，实时任务调度引擎，该调度系统负责智能调度多租户大数据实时计算任务，通过短周期的实时任务定时监测，快速发现和恢复异常实时任务，通过长周期的历史运行数据建立实时任务运行模型，基于实时任务运行模型动态调整分组，分布式调度运行；离线任务调度引擎，该调度系统负责智能调度多租户大数据离线计算任务，同时实时监听离线分组任务运行的反馈信息，快速调度离线分组任务。该技术方案通过智能分组技术有效提升大数据集群的资源利用率，进而提升整个集群的租户承载能力，有效提升系统健壮性，通过动态扩缩容机制，进一步降低系统运维成本，降本增效。