摘要
本发明提供了一种社区数据治理方法、系统、设备及介质,属于数据治理领域。所述方法包括:通过分布式数据管道获取多源异构的社区数据,利用异构数据源适配机制将其转换为统一格式的数据包,生成社区数据流;基于流处理引擎对社区数据流执行窗口化处理,通过规则引擎的动态加载机制更新分类策略,依次进行基础规则匹配、智能实体识别及敏感度评分计算,对数据流进行分级;针对分级为机密级的数据,采用差分隐私技术添加动态噪声,并对跨社区共享数据实施同态加密处理;根据数据流分级结果选择对应的存储介质进行存储,并通过区块链技术对数据操作进行存证;实时监控数据质量指标,当检测到异常时自动触发数据回滚或修复策略。
技术关键词
数据治理方法
动态加载机制
差分隐私技术
动态噪声
分类策略
异构
区块链技术
HDFS分布式文件系统
管道实时监控
结构化日志数据
分布式存储模块
加载新规则
建立消息队列
数据治理系统
数据加密密钥
同态加密算法
列式数据库
系统为您推荐了相关专利信息
电力设备检测系统
电力设备监控系统
故障预测模型
故障类别
数据采集模块
模型联合训练方法
中心服务器
联邦学习系统
电梯故障诊断
差分隐私技术
环境感知数据
风机
在线学习机制
设备状态评估
深度学习架构
模型训练方法
云端服务器
节点
数据并行策略
多臂老虎机
显示屏坏点
短波红外
可见光图像
热力图
动态噪声