摘要
本发明涉及一种基于大数据的智能清洗数据方法、装置和电子设备,属于大数据技术领域,其中,该方法包括:获取多源业务数据,根据多源业务数据建立源数据表,以及根据源数据表建立具有映射关系的目标数据表;根据清洗需求和清洗目的,确定清洗规则;根据多源业务数据的类型和种类,采用对应的清洗规则对源数据表中的多源业务数据进行清洗,并将清洗后的数据存入目标数据表;统计每一个清洗规则的使用频率,并根据清洗规则使用频率自动配置清洗规则。本发明解决了现有技术中没有对数据进行自动清洗,而需要投入大量的人力和时间成本,从而导致数据清洗效率低的技术问题。
技术关键词
清洗规则
计算机可读程序
数据清洗效率
业务数据类型
频率
异常数据
电子设备
可读存储介质
数据装置
大数据技术
处理器
字典表
关系
存储表
数据分类
标记
字段
数据存储
系统为您推荐了相关专利信息
海洋内波预测方法
生成统计数据
卫星遥感数据
时间差
人工神经网络
二维材料薄膜
脉冲激光系统
激光脉冲参数
调制器
动态规划模型
手持超声设备
压力传感器模块
超声波发射器
多模式扫描
调节系统
资源调度方法
学习终端
资源调度算法
分配带宽资源
能量消耗
混合模拟退火
布谷鸟算法
离子
有机酸
镉富集能力