摘要
本发明提供一种数据采集准确性检测和修复系统及其控制方法,系统包括比对系统和修复系统;其中,所述比对系统包括配置单元、拉取数据单元和比对单元;所述修复系统包括读取配置单元、校验数据单元及数据修复单元;系统采用巡检方式或即时方式运行;通过对用户库数据和实时数仓数据按主键和字段进行比对,找到异常数据。对比的主键和字段是有限的,从而保证数据的拉取是轻量级的;对比的主键和字段是可配置的,能够灵活的满足比对需求;对比过程是单个用户单个表力度的,所需资源很小。降低了整体的成本,并且对用户库和实时数仓的影响极小,降低执行成本的同时降低对可用性的影响。
技术关键词
修复系统
比对系统
巡检方式
存储单元
异常数据
数据更新
表格
分布式计算框架
数据字
字段
列表
对象
算法
关系
日期
逻辑
标识
物理
系统为您推荐了相关专利信息
运维管理方法
时序分析方法
指数平滑模型
ARIMA模型
故障检测模型
企业信用信息
企业信用数据
孤立森林算法
机器学习算法
粒子
功能模块
热插拔功能
主控制器
热插拔接口
通信接口单元
无人机飞行数据
数据恢复方法
多元回归模型
无人机检测技术
非线性