摘要
本申请公开了一种数据比对方法、装置、设备及存储介质,涉及数据处理技术领域,包括:通过NiFi中的目标数据源连接器从目标数据源获取初始待比对数据,并基于预设数据预处理方式对所述初始待比对数据进行数据处理,得到目标待比对数据;基于所述目标待比对数据对应的数据比对任务确定目标比对算法和目标比对规则,并基于所述目标比对算法和所述目标比对规则对所述目标待比对数据进行数据比对得到初始数据比对结果;对所述初始数据比对结果进行数据处理得到目标数据比对结果,并输出所述目标数据比对结果对应的输出文件。由上可见,本申请中利用NiFi的数据流处理能力,实现了数据的实时处理和比对,显著提高数据比对的效率和准确性。
技术关键词
数据比对方法
数据类型转换方法
格式化
数据变换技术
数据标准化方法
数据划分策略
数据可视化方法
故障恢复机制
数据输出格式
数据清洗方法
特征提取技术
异常信息
规范化方法
异常数据
处理器
网络通信技术
机器学习算法
分类策略