一种基于NOA-LightGBM混合算法的低成本Spark任务调度方法

本发明属于大数据领域，具体涉及一种基于NOA‑LightGBM混合算法的低成本Spark任务调度方法，该方法包括：建立Spark作业的成本模型，以提高集群资源利用率和最小化Spark集群的使用成本为目标函数；采用星鸦优化算法(NOA)对LightGBM算法的超参数组合进行优化，确定LightGBM超参数的最优组合；将获得的最优参数组合作为LightGBM算法的超参数，训练预测模型，用预测模型求得Spark应用在运行过程中可能产生掉队者的节点；结合节点性能，对所有节点进行优先级排序，根据节点优先级进行Spark任务调度；本发明提高了集群资源利用率，降低了集群的使用成本，改善了原生Spark任务调度策略存在的问题。