一种根据数据湖进行数据集市改进的方法及设备

AITNT
正文
推荐专利
一种根据数据湖进行数据集市改进的方法及设备
申请号:CN202410836535
申请日期:2024-06-26
公开号:CN118673330A
公开日期:2024-09-20
类型:发明专利
摘要
本发明公开了一种根据数据湖进行数据集市改进的方法及设备。该方法包括定期扫描大数据平台中线上运行的任务,并读取大数据平台的配置信息,判断任务是否符合集市引用规范;对不符合集市引用规范的任务进行修改,然后将修改后的任务部署至大数据平台,并基于运行修改后的任务获得结果数据;读取运行修改后的任务获得结果数据和运行修改前的任务获得结果数据,并将运行修改前后的任务获得的结果数据进行数据一致性分析和时效一致性分析,若数据一致性分析和时效一致性分析均通过,则表示修改后的任务已经标准化,且结果数据比对一致,允许应用到生产。本发明保证了数据可用性及业务连贯行,提供了更标准的数据集市建设方法,统一了数据来源。
技术关键词
大数据平台 字典 格式 扫描模块 语句 脚本 关系 字段 日志 分析模块 算法
系统为您推荐了相关专利信息
1
信息生成方法、电子设备、存储介质和程序产品
检索策略 信息生成方法 策略更新 语义相关度 非易失性计算机可读存储介质
2
一种基于Excel解析的数据模型表生成方法及系统
Excel模板 表单 孪生神经网络 生成方法 表格
3
查询语句生成方法、装置、电子设备及存储介质
数据字 逻辑 查询语句生成方法 元素 语义
4
大语言模型驱动的航空发动机控制软件需求描述规范智能检查方法
智能检查方法 航空发动机 大语言模型 语义 软件
5
文档格式转换方法、格式转换装置、设备、介质和产品
表格模板 文档格式转换方法 格式转换装置 表单 标签
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号