摘要
本申请公开了一种作业调度的方法及装置。将在队列中等待的作业与Hadoop的节点构成匹配对,减少计算作业的平均完成时间和平均等待时间。将每个匹配对组成长度可变的集合,将集合中的匹配对批量输入全连接神经网络,通过其前向传播获得每个匹配对的适应性值。获取适应性值最高的匹配对作为分配对,将分配对中的作业分配到分配对中的节点。将除分配对外的匹配对中的作业退回队列,减少数据传输量,缩短数据传输时间。并重复构成匹配对的过程,自主优化作业与节点的资源分配,无需手动调整参数,直至所述队列中不存在等待的作业,从而便捷高效地实现作业调度。
技术关键词
节点
队列
长度可变
强化学习模型
注意力机制
平均等待时间
分配单元
参数
批量
资源分配
动态
系统为您推荐了相关专利信息
动态负载均衡系统
动态负载均衡技术
分发模块
梯度下降算法
中心控制器
电网模型数据
物理设备
电网设备
多层感知器
匹配设备
实时数据
节点
数据管理方法
虚拟现实交互
生成标签
佩戴安全帽
红外相机拍摄
深度卷积神经网络
特征金字塔网络
形状先验