一种增量数据的处理系统

本发明公开了一种增量数据的处理系统，属于数据处理技术领域，包括增量数据处理子系统，用于监听数据源数据变更，对真删除数据进行伪删除处理并标记，统一配置数据源中伪删除与真删除的标志位，并提供增量数据集成程序和嵌入了增量数据处理算法的增量数据处理库；增量数据入湖子系统，用于将数据源中的增量变动数据转换为数据湖的格式后写入到数据湖中；增量数据聚合子系统，用于执行增量数据聚合；增量数据关联子系统，用于在两张表都有增量数据的时候时进行内关联、左关联或反关联，并将对应的关联增量结果以更新或插入的方式Upsert到历史聚合结果表中。本发明解决了难以仅处理增量数据且增量计算逻辑复杂的问题。