基于资源动态预估的大数据任务调度方法、系统及存储介质

本发明提供了一种基于资源动态预估的大数据任务调度方法、系统及存储介质，涉及大数据处理技术领域。本专利所提出的任务调度方法，融合机器学习模型算法，实现在海量作业中动态调控调度顺序，提高系统运行速度。同时，本申请可根据作业群具体属性弹性延伸，依据用户自定义优先级配置改变运行态逻辑。在这个过程中，模型既依赖算法预估作业运行资源消耗，又可以在运行过程中收集运行数据迭代算法参数，提高资源消耗估计准确性，在最大化资源利用率的同时保证系统稳定运行。最后，本申请可在任务异常情况下自行重跑，并定期检查任务状态，综合判断系统健康度及时反馈给技术管理员，有效增加了调度系统持续运行的平稳性。