摘要
本发明公开了一种数据管理平台及数据管理方法,其中,该数据管理平台包括数据接入模块、数据处理模块、数据存储模块和容量管理模块;数据接入模块用于对异构数据源进行元数据采集;其中,所述元数据包括非结构化数据、结构化数据和半结构化数据;数据处理模块用于通过分布式计算框架和数据湖对所述元数据进行处理;数据存储模块用于对处理后的元数据进行存储;容量管理模块用于通过集成的监控系统实时监测所述数据管理平台中当前集群的数据资源使用情况,并根据当前集群的数据资源使用情况调整数据存储容量。本发明能够有效地管理来自各种来源的异构数据,可以有效地保证数据的安全性和灵活性。
技术关键词
数据管理平台
数据存储模块
系统实时监测
数据存储容量
数据处理模块
数据管理方法
集群
分布式计算框架
对象存储系统
数字水印
数据仓库工具
哈希算法
节点
生成哈希值
智能分区
资源
异构