摘要
本发明公开了一种根据数据湖进行数据集市改进的方法及设备。该方法包括定期扫描大数据平台中线上运行的任务,并读取大数据平台的配置信息,判断任务是否符合集市引用规范;对不符合集市引用规范的任务进行修改,然后将修改后的任务部署至大数据平台,并基于运行修改后的任务获得结果数据;读取运行修改后的任务获得结果数据和运行修改前的任务获得结果数据,并将运行修改前后的任务获得的结果数据进行数据一致性分析和时效一致性分析,若数据一致性分析和时效一致性分析均通过,则表示修改后的任务已经标准化,且结果数据比对一致,允许应用到生产。本发明保证了数据可用性及业务连贯行,提供了更标准的数据集市建设方法,统一了数据来源。
技术关键词
大数据平台
字典
格式
扫描模块
语句
脚本
关系
字段
日志
分析模块
算法
系统为您推荐了相关专利信息
检索策略
信息生成方法
策略更新
语义相关度
非易失性计算机可读存储介质
Excel模板
表单
孪生神经网络
生成方法
表格
表格模板
文档格式转换方法
格式转换装置
表单
标签