摘要
本发明提供元数据驱动的一体化数据仓库与治理平台构建方法及系统,通过元数据自动采集适配器,采集数据源中的全量元数据,提取全链路血缘关系图谱和企业数据地图,构建目标数据集;采用控制表和参数化管道的方式执行数据表一键同步操作,生成ODS目标表和ETL同步任务;根据ODS目标表和ETL同步任务,构建DDL建表语句;基于DDL建表语句,按业务主题域划分模型,并结合数据量级预测自动推荐分桶策略,生成数据仓库模型;采用数据仓库模型的表结构、全链路血缘关系图谱和分区策略,构建一站式数据治理平台。可以快速构建数仓表模型和自动同步数据,实现全链路数据开发、治理和运营能力。
技术关键词
数据仓库模型
分区策略
数据治理平台
语句
平台构建方法
图谱
链路
合规性
主题
适配器
关系
物理存储位置
报告
字段
地图
监控模块
脚本
分层
系统为您推荐了相关专利信息
数据集构建方法
多轮对话
答案
拆分规则
语义角色标注
自动填表系统
表格
信息存储单元
分切模块
农村信息化技术
检索方法
语句
SQL数据库技术
知识图谱构建方法
元素