一种基于规则数据驱动的数据清洗方法及数据清洗引擎

本申请涉及一种基于规则数据驱动的数据清洗方法及数据清洗引擎，属于数据处理技术领域。数据清洗方法包括：接收多个异构业务系统的原始数据流；提取多源数据特征和跨系统字段关联特征，构建得到数据特征指纹；对数据特征指纹进行相似度匹配，筛选匹配度高于预设阈值的规则，得到候选规则集；将候选规则集转换为有向无环图；标记冲突规则对，得到冲突预警列表；在有向无环图中插入虚拟隔离层，生成路径标识表；根据有向无环图进行拓扑排序，生成规则执行序列并对原始数据流进行清洗处理；根据路径标识表分配数据执行通道；输出清洗完成的洁净数据流及包含规则执行路径的清洗日志。本申请能够高效准确地处理来自不同业务系统的数据。