摘要
本发明公开了一种基于自动匹配规则的数据质量和安全处理系统及方法,所述系统包括:规则动态配置模块,通过JSON结构化描述实现规则参数与前端表单的动态映射;多源数据采集模块,用于对接异构数据源;数据特征识别模块,通过特征识别技术提取数据特征,并自动匹配和校验规则;分布式计算引擎模块,基于Spark实现数据质量检查、数据安全处理任务的并行化执行;闭环反馈模块,通过历史检查结果优化规则阈值。本发明解决了传统数据质量检查中规则固化、校验效率低、异常定位困难等问题,实现了数据质量问题的实时发现、精准定位与自动化处置。
技术关键词
数据质量检查
特征识别模块
JSON结构
特征识别技术
校验规则
数据采集模块
数据安全
深度学习模型
动态资源分配
数据分布
聚类算法
数据特征提取
任务调度器
闭环
生成表单
定义规则
渲染单元
系统为您推荐了相关专利信息
人工智能管理
电参数采集模块
人工智能算法
特征识别模块
控制主板
软件开发环境
硬件设备
数据采集设备
数据质量检查
指标
数字化管理方法
MES系统
数据校验规则
数据分类
平台