摘要
本申请的遥感大数据生产云计算任务高效调度方法,对MapReduce框架进行改进建立得到适用于遥感数据生产的新调度框架,使Worker具有的决策权,而不再完全靠Master来分派任务,克服MapReduce框架的控制结点负载过重的问题,Worker端收集本地机器上的资源与任务信息,用于决策是否执行下一个任务,而同时也通过Heartbeat机制将这些信息发送到Master上,当Worker端的资源不足时,将一些需要较多资源的任务发送给Master,由Master分派给集群中空闲资源较多的结点来完成,构建任务博弈分派算法,框架是两种类型的任务队列:基于公用任务博弈队列与私有任务分派队列对MapReduce框架资源模型进行改进,满足海量遥感数据生产需求,提高了遥感数据生产效率。
技术关键词
结点
队列
高效调度方法
遥感大数据
资源
作业提交
WebService接口
遥感数据处理
客户端
海量遥感数据
框架
信息更新
短时间
模式
多任务
监测作业
算法
消息