基于FlinkCDC实现多数据中心数据到Doris实时动态采集方法及系统

本发明公开了一种基于FlinkCDC实现多数据中心数据到Doris实时动态采集方法和系统，方法包含如下步骤：采集源系统的增量日志信息，并封装为DataStream数据流；配置数据同步信息；合并数据流，生成DataSyncStream数据流；更新形成DataSyncStream数据流并写入到Doris中。本发明基于Flink计算框架，采用FlinkCDC组件，实现了数据的实时采集、实时计算、一致性语义；通过数据处理组件实现了数据安全加密、自定义字段添加、DDL变更实时回放的一次性配置；优化Doris数据同步组件实现在不停服务的前提下同步任务的动态增减。