摘要
本发明公开了基于DataX的数据同步任务调度方法、系统、设备及介质,属于大数据技术领域,本发明要解决的技术问题为DataX中划分任务不均衡,任务调度过程中无法动态调整任务执行,采用的技术方案为:该方法是基于DataX数据同步工具,通过把数据库表和数据量作为任务划分依据,把任务量均值作为大数据量库表同步任务的切分依据,实现细粒度任务划分,并在任务调度过程中,保证任务在切分和调度过程中的平衡性,实现数据同步任务的细粒度划分和动态调度。
技术关键词
数据同步
任务调度方法
任务调度系统
数据字
队列
动态
可读存储介质
大数据技术
链式结构
处理器
调度算法
存储器
监控模块
语句
脚本
密码
计算机
模板
系统为您推荐了相关专利信息
动态调度系统
解码
中央控制器
计算机科学人工智能
CUDA接口
数据字
组织架构信息
数据分级方法
属性匹配
资源
队列
硬件执行资源
仲裁方法
可执行程序代码
处理器
事件处理方法
芯片系统
集群
事件处理装置
子系统