摘要
本发明公开了一种基于DataX插件的双轨数据迁移方法,具体包括:确定源系统和目标系统,依据DataX插件规范,自定义Reader插件和Write插件;利用所述Reader插件和所述Write插件进行数据迁移,具体包括:对所述源系统的数据进行一次性导出,并导入所述目标系统中,记录迁移起始时间为T0;通过Canal或Debezium订阅binlog日志,捕获T0之后的DML变更,并将变更写入所述目标系统,变更过程中同时进行数据结构调整;在配置中心配置灰度切流进行流量切换;数据迁移过程中发生迁移异常时,配置中心切回源系统,服务访问回滚,将所述目标系统的新数据回写所述源系统,标记所述新数据的差异并修复。
技术关键词
数据迁移方法
遍历算法
构建树结构
校验模块
断点
打包插件
节点
校验规则
计算机程序产品
动态
报警系统
处理器
日志
错误率
文件夹
机制
参数
系统为您推荐了相关专利信息
自然语言文本
知识提取方法
逻辑
大语言模型
医疗辅助系统
可视化监控系统
机电安装施工
多模态数据采集
洁净室
处理器模块
联网收费数据
纠正方法
机器学习模型
异常数据
字段