一种实现Clickhouse数据迁移流程自动化方法

本发明公开了一种实现Clickhouse数据迁移流程自动化方法，包括从源端ClickHouse数据库获取所有该数据库下所有的源数据表，将目的端ClickHouse数据库的名称和所述源数据表的名称输入所述建库脚本，执行建库脚本，在指定的路径生成目的端ClickHouse数据库和数据表；根据ZooKeeper中ClickHouse‑Copier迁移配置文件，通过执行数据迁移脚本将源端ClickHouse数据库的数据表中的数据迁移到所述目的端ClickHouse数据库的数据表；本发明使用Shell脚本语言和Java编程语言，基于ClickHouse‑Copier将其使用成本高、配置繁琐等不足按流程拆分后封装成脚本，实现数据迁移过程的自动化；在执行数据迁移过程时，只需要输入数据库名或数据表名、不同逻辑的标识参数就可以完成数据迁移，同时还能通过深度学习精准定位数据迁移失败原因，实现数据迁移问题的快速排查。