混合云部署集群Spark作业调度方法、装置、设备及存储介质

本发明公开了一种混合云部署集群Spark作业调度方法、装置、设备及存储介质。该方法包括：实时获取当前的作业信息、虚拟机信息以及阶段信息；基于所述作业信息、所述虚拟机信息以及所述阶段信息，采用粒子群优化算法，以最小化整个集群的虚拟机使用成本为优化目标，生成当前的调度信息；根据所述调度信息调度执行器执行。本发明所提供的技术方案，结合作业信息、虚拟机信息和阶段信息，并基于元启发式的粒子群优化算法，通过粒子群的迭代搜索，实现了在多作业环境下，精准的为各Spark作业的DAG定制最优调度方案，从而有效降低了混合云部署集群的整体运行成本。