摘要
本发明公开了一种数据动态血缘关系提取方法、装置、设备、介质及产品,涉及大数据处理技术领域。所述方法是一方面在大数据调度平台中对提交至平台的各个数据处理任务所涉及的数据源、数据处理组件和数据目标进行元数据采集,得到包括有数据源元数据、组件元数据和目标元数据的元数据,另一方面利用大数据调度平台的任务调度机制,在任务执行过程中实时监控所述数据处理任务的运行状态以捕获在数据处理过程中的关键事件,最后根据元数据和关键事件的事件信息,构建数据动态血缘关系并存储到图数据库中,以便进行查询与管理,如此可解决现有技术中存在的提取效率低下、准确性不足和灵活性差等问题,突破在动态性、异构性和语义解析等方面的瓶颈。
技术关键词
数据处理组件
数据调度平台
任务调度机制
动态
数据血缘关系
数据采集单元
计算机可读存介质
人工智能模型
数据处理框架
大数据处理技术
NLP技术
拓扑图
语义
存储单元
存储计算机程序
网络恢复
系统为您推荐了相关专利信息
仓库管理系统
信息采集模块
仓库布局优化
自动化搬运设备
库存预测模型
并联机构
吸附单元
球型铰链
无人机机体
控制系统
微震事件
时空演化过程
三维可视化模型
综合指标体系
分布特征