一种跨工作流任务平台的数据同步调度方法和装置

AITNT
正文
推荐专利
一种跨工作流任务平台的数据同步调度方法和装置
申请号:CN202410843006
申请日期:2024-06-27
公开号:CN118796944A
公开日期:2024-10-18
类型:发明专利
摘要
本说明书实施例提供一种跨工作流任务平台的数据同步调度方法和装置,包括接收数据同步任务;根据数据同步任务生成导出作业;将导出作业部署至导出端ETL调度集群上,以使导出端ETL调度集群将导出作业对应的数据库表导出并落在导入端ETL调度集群的子节点上;监听数据库表在子节点上的落入动作;根据监听结果和数据同步任务生成导入作业;将导入作业部署至导入端ETL调度集群上,以使导入端ETL调度集群将子节点上的数据库表导入至导入端数仓集群中。本方法将数据同步任务拆分为导出作业和导入作业,分别部署至导出端和导入端ETL调度集群,以节约开发资源;且导出作业与导入作业不会影响导出端和导入端各自的日常批量作业的运行。
技术关键词
集群 数据同步调度方法 负载均衡算法 工作流 脚本 关系 标识 资源 批量 日期 调度装置 平台 模块 处理器 计算机设备 节点处 存储器 逻辑
系统为您推荐了相关专利信息
1
一种动态回收存储系统后台资源的方法及系统
硬盘健康状态 分配系统资源 高效算法 节点 大规模存储系统
2
康复信息云共享方法及系统
信息云平台 生理 指标 生物传感器 集群
3
一种考虑消纳光伏和低谷电力的电动汽车V2G调度方法
优化调度模型 充放电策略 光伏发电功率 粒子群算法 电力
4
一种高效适配并行处理器的模拟通信方法及系统
并行处理器 多通道并行处理 模拟设备 负载均衡算法 通信方法
5
企业研发流程质量管理平台
机器学习模型 项目 性能测试脚本 测试管理系统 测试环境配置
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号