摘要
本发明公开了一种多源异构劳动监察维权投诉信息数据清洗融合方法,该方法包括针对多源异构数据的清洗算法和融合处理模型;清洗算法,针对多源异构环境下存在大量不精确数据的问题,设计跨数据源的数据清洗方式,建立统一的数据清洗标准,提出层次约简分类清洗的策略;针对多源异构数据环境存在大量重复数据的问题,提出属性约减关联清洗的策略;本发明通过系统化的清洗、转换、融合技术,将这些分散、复杂、不规范的原始投诉维权数据,转化为统一、完整、规范且高度准确的标准数据集,为后续的统计分析、风险预警、智能决策等应用奠定坚实的数据基础。
技术关键词
融合方法
多源异构数据
清洗算法
HBase数据库
机器学习分类算法
分布式消息队列
海量异构数据
策略
冗余度
关系型数据库
粗糙集
文件系统
信息系统
工作量
度量
数据存储
系统为您推荐了相关专利信息
MR设备
虚实融合方法
点云地图
坐标系
融合历史
计算机控制系统
多模态信息
机械臂
特征级融合方法
数据采集模块
回收系统
城市垃圾分类回收
非线性融合方法
轨迹
聚类