一种基于Flink的分布式增量数据同步方法及装置

本发明公开了一种基于Flink的分布式增量数据同步方法及装置，属于网络应用技术领域，包括：在作业管理器中根据预设的分块键和分块大小确定分块边界，构建分片式数据库查询语句；确定分块的校验和计算规则，并生成参数化数据库查询语句；在表管理器中存储数据库信息，并获取校验数据存储表；计算分块的初始校验和，并全部写入校验数据存储表中；在任务管理器中接收作业管理器下发的分块信息；初始化增量数据同步任务并执行，计算目标分块的最新校验和以与其初始校验和进行比对，根据比对结果执行增量数据同步操作。本申请在不需要数据库开启增量字段的情况下就可以基于指定的列获取到表中的数据变更，极大地提高了数据集成场景下数据变更的及时性。