基于DataX的数据同步任务调度方法、系统、设备及介质

AITNT
正文
推荐专利
基于DataX的数据同步任务调度方法、系统、设备及介质
申请号:CN202410714401
申请日期:2024-06-04
公开号:CN118626557A
公开日期:2024-09-10
类型:发明专利
摘要
本发明公开了基于DataX的数据同步任务调度方法、系统、设备及介质,属于大数据技术领域,本发明要解决的技术问题为DataX中划分任务不均衡,任务调度过程中无法动态调整任务执行,采用的技术方案为:该方法是基于DataX数据同步工具,通过把数据库表和数据量作为任务划分依据,把任务量均值作为大数据量库表同步任务的切分依据,实现细粒度任务划分,并在任务调度过程中,保证任务在切分和调度过程中的平衡性,实现数据同步任务的细粒度划分和动态调度。
技术关键词
数据同步 任务调度方法 任务调度系统 数据字 队列 动态 可读存储介质 大数据技术 链式结构 处理器 调度算法 存储器 监控模块 语句 脚本 密码 计算机 模板
系统为您推荐了相关专利信息
1
一种基于设备需求感知的跨GPU显存动态调度系统及方法
动态调度系统 解码 中央控制器 计算机科学人工智能 CUDA接口
2
基于大语言模型的少儿心理发展分析系统及方法
语义特征 模式 大语言模型 时序 多模态
3
一种多维度的数据分级方法、装置及电子设备
数据字 组织架构信息 数据分级方法 属性匹配 资源
4
任务队列调度的仲裁方法、处理器、电子设备及存储介质
队列 硬件执行资源 仲裁方法 可执行程序代码 处理器
5
事件处理方法、装置、电子设备及计算机可读存储介质
事件处理方法 芯片系统 集群 事件处理装置 子系统
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号