一种基于电网数据中台的数据血缘溯源分析方法

AITNT
正文
推荐专利
一种基于电网数据中台的数据血缘溯源分析方法
申请号:CN202411637040
申请日期:2024-11-15
公开号:CN119127917A
公开日期:2024-12-13
类型:发明专利
摘要
本发明提供了一种基于电网数据中台的数据血缘溯源分析方法。所述方法包括:基于Hive和YARN生成和收集执行日志,基于所述执行日志获取多个SQL语句,基于所述多个SQL语句分别构建AST树,基于所述AST树获取数据血缘映射关系和数据节点信息;基于信息熵数据对齐方法合并所述多个SQL语句中相同的所述数据节点,基于Neo4j将所述数据血缘映射关系和数据节点转换为数据血缘图,基于广度优先搜索和A*算法对所述数据血缘图进行数据路径溯源。通过本发明的技术方案,能够快速、准确定位问题数据发生的位置,确保电网数据从采集、传输、存储到分析的全过程透明化和可追踪化,满足企业对数据中台数据服务的时效性和可靠性需求。
技术关键词
溯源分析方法 广度优先搜索 节点 语句 信息熵 上下文无关文法 数据对齐方法 解析器 关系 生成数据集合 算法 日志 可靠性需求 列表 表达式 队列 字段 定位问题 标记
系统为您推荐了相关专利信息
1
一种基于自适应增益调整的一次调频优化控制方法及系统
电网运行参数 调频优化控制方法 电网运行状态 优化控制策略 指数
2
一种用于目检机的晶片表面光滑度检测方法及系统
分块 层次聚类算法 像素点 光滑度检测系统 计算机程序指令
3
一种任务分配方法及装置
服务器节点 任务分配方法 时间段 神经网络模型 任务分配装置
4
一种科技安全整体解决方法
分布式数据库 节点 存储系统 数据中心 访问控制模块
5
电力物联终端指纹特征提取方法、装置、设备及介质
指纹特征提取方法 时域特征 频域特征 指纹特征提取装置 特征学习网络
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号