摘要
本发明提供了一种大数据任务的调度方法、装置、设备和可读存储介质,涉及大数据技术领域,该方法包括:获取计算节点的可用资源信息、待处理任务的任务信息和多个待处理任务之间的依赖关系;根据任务信息和可用资源信息,按照预先设置的任务处理顺序依次将每一个待处理任务分配至对应的计算节点,生成任务分配结果;根据多个待处理任务之间的依赖关系和任务分配结果,确定多个待处理任务之间传输的数据流;根据当前网络状态信息,确定每一个数据流分别对应传输的路由路径和带宽值;依据任务分配结果和每一个数据流分别对应传输的路由路径和带宽值,对待处理任务进行任务调度。采用本发明实施例能提升资源利用率和数据处理性能,进而提高调度效率。
技术关键词
网络状态信息
节点
任务调度
资源
回归预测模型
软件定义网络
网络设备
可读存储介质
大数据技术
关系
计算机程序产品
队列
调度装置
中央处理器
模块
优化器
系统为您推荐了相关专利信息
灯源装置
灯光控制系统
灯具驱动控制
无线通信模块
座舱
配电网网架
低压配电网
节点
模型构建方法
计算机程序产品
姿态识别方法
双流卷积神经网络
图像分析
模型库
分类阈值
光储充电站
互动方法
经济调度模型
充放电功率
储能