一种基于权重的ETL任务调度方法及装置

本发明涉及基于权重的ETL任务调度方法及装置，属医疗大数据治理领域。本发明方法包括3个处理阶段；在任务预处理阶段，计算每个ETL任务的重要性权重WEj，通过任务分级算法将ETL任务集合E分成高等级任务集合H与低等级任务集合L；在任务分配阶段，计算不同节点的性能权重WNi，获取ETL任务的源数据量，通过加权贪婪算法将高等级任务集合H与低等级任务集合L中的任务分配到不同节点的任务集合上，形成由多个节点任务集合组成的集合G；在任务执行阶段，通过分级的高响应比优先算法动态调整每个节点的任务执行顺序。本发明能预估任务执行时长，提高集群资源利用率；以及通过计算待执行任务的响应比，动态调整任务的执行顺序。