摘要
本发明提供了一种基于电网数据中台的数据血缘溯源分析方法。所述方法包括:基于Hive和YARN生成和收集执行日志,基于所述执行日志获取多个SQL语句,基于所述多个SQL语句分别构建AST树,基于所述AST树获取数据血缘映射关系和数据节点信息;基于信息熵数据对齐方法合并所述多个SQL语句中相同的所述数据节点,基于Neo4j将所述数据血缘映射关系和数据节点转换为数据血缘图,基于广度优先搜索和A*算法对所述数据血缘图进行数据路径溯源。通过本发明的技术方案,能够快速、准确定位问题数据发生的位置,确保电网数据从采集、传输、存储到分析的全过程透明化和可追踪化,满足企业对数据中台数据服务的时效性和可靠性需求。
技术关键词
溯源分析方法
广度优先搜索
节点
语句
信息熵
上下文无关文法
数据对齐方法
解析器
关系
生成数据集合
算法
日志
可靠性需求
列表
表达式
队列
字段
定位问题
标记
系统为您推荐了相关专利信息
电网运行参数
调频优化控制方法
电网运行状态
优化控制策略
指数
分块
层次聚类算法
像素点
光滑度检测系统
计算机程序指令
服务器节点
任务分配方法
时间段
神经网络模型
任务分配装置
分布式数据库
节点
存储系统
数据中心
访问控制模块
指纹特征提取方法
时域特征
频域特征
指纹特征提取装置
特征学习网络