摘要
本发明公开了一种基于数据中台的配置化数据仓库设计方法,包括如下步骤:部署数据中台和底层大数据集群;获取数据,并制定数据归集方案;对数据进行清洗;设计主题模型库,编写数据整合脚本,将数据整合到主题模型库中;开发HBase宽表;设计数据中台配置化模块。本发明通过数据中台配置化管理方法,构建高效数据仓库体系,实现灵活接入、清洗和查询,具备扩展性强、适应性高及操作简便的优点。
技术关键词
数据仓库设计方法
关系型数据库
模型库
分布式计算框架
脚本
主题
分布式消息队列服务
分布式存储系统
字段
元数据管理模块
大数据
管理工具
网络通信服务
化管理方法
集群
数据存储结构
分布式文件系统