摘要
本说明书实施例提供一种跨工作流任务平台的数据同步调度方法和装置,包括接收数据同步任务;根据数据同步任务生成导出作业;将导出作业部署至导出端ETL调度集群上,以使导出端ETL调度集群将导出作业对应的数据库表导出并落在导入端ETL调度集群的子节点上;监听数据库表在子节点上的落入动作;根据监听结果和数据同步任务生成导入作业;将导入作业部署至导入端ETL调度集群上,以使导入端ETL调度集群将子节点上的数据库表导入至导入端数仓集群中。本方法将数据同步任务拆分为导出作业和导入作业,分别部署至导出端和导入端ETL调度集群,以节约开发资源;且导出作业与导入作业不会影响导出端和导入端各自的日常批量作业的运行。
技术关键词
集群
数据同步调度方法
负载均衡算法
工作流
脚本
关系
标识
资源
批量
日期
调度装置
平台
模块
处理器
计算机设备
节点处
存储器
逻辑
系统为您推荐了相关专利信息
硬盘健康状态
分配系统资源
高效算法
节点
大规模存储系统
优化调度模型
充放电策略
光伏发电功率
粒子群算法
电力
并行处理器
多通道并行处理
模拟设备
负载均衡算法
通信方法
机器学习模型
项目
性能测试脚本
测试管理系统
测试环境配置