摘要
本发明涉及数据管理技术领域,公开了用于数据血缘图谱的迭代更新方法,包括以下步骤:捕获数据增量与元数据变化;构建数据血缘关系的有向无环图;对数据血缘关系图进行分层建模;基于分层建模结果对血缘图谱执行迭代更新;通过分布式计算优化增量数据的处理与存储;使用流处理技术实现实时的血缘图谱更新;利用机器学习模型对血缘路径变更进行预测,并对异常节点进行检测与修复,所述捕获数据增量与元数据变化包括:获取数据快照,包括数据的新快照和旧快照。本发明通过流处理技术、机器学习模型和自动化修复机制,实现了数据血缘图谱的高效实时更新、智能化路径预测及异常节点的自动修复,提升了系统稳定性和更新效率。
技术关键词
数据血缘关系
更新方法
图谱
机器学习模型
节点
数据依赖关系
快照
执行增量
分布式数据源
分布式计算框架
执行并行处理
分层
时间序列模型
数据管理技术
执行容错
重试机制
捕获方法
修复机制
系统为您推荐了相关专利信息
机器学习模型
强度预测方法
耦合特征
三维数字岩心
物理