摘要
本发明涉及一种便于数据血缘采集与分析的方法,通过获取包含任务执行日志、应用元数据及跨系统依赖关系的原始血缘数据,并对其进行标准化处理生成包含资产唯一标识符、上下游关联关系及数据操作类型的结构化血缘信息,通过将结构化血缘信息同步写入图数据库和分布式数据仓库,其中图数据库存储实时关联拓扑,分布式数据仓库存储全量历史版本,并采用事务一致性算法确保双写操作的原子性,基于图数据库的实时拓扑进行单资产级血缘追踪和分布式数据仓库的批量计算能力进行全局血缘分析,生成直接依赖路径、深度关联网络及闭环链路检测结果,形成了从数据采集、分析到优化的闭环管理机制,克服了传统方案中分析结果与采集端脱节的问题。
技术关键词
深度关联网络
分布式数据仓库
实体标识符
资产
闭环
关系
依赖特征
日志
时效特征
链路
一致性算法
索引表
跨系统
层级
遍历算法
节点
拓扑结构特征
ID生成器