一种基于大数据的数据治理任务运行方法

AITNT
正文
推荐专利
一种基于大数据的数据治理任务运行方法
申请号:CN202411831414
申请日期:2024-12-12
公开号:CN120104300A
公开日期:2025-06-06
类型:发明专利
摘要
本发明涉及数据治理技术领域,具体涉及一种基于大数据的数据治理任务运行方法,包括以下步骤:通过数据源接入模块自动对接多个异构数据源,基于多维数据解析算法对不同结构、类型的数据进行解析和标签化处理;对经过解析的数据进行动态数据质量评估;基于数据治理任务的优先级和数据源的实时需求,通过智能调度模块进行任务的资源分配和执行顺序优化;对经过清洗与处理的数据进行多源数据融合,基于关联分析算法,构建数据间的动态关联关系,并通过实时更新机制实现数据的同步更新与一致性维护。本发明,将任务根据紧急程度、数据量、计算资源消耗及预期执行时间等多个维度进行动态排序,实现高效的任务调度,确保资源的最优利用。
技术关键词
关联分析算法 大数据 并行计算框架 排序算法 解析算法 分布式数据处理 数据治理技术 数据处理框架 任务调度 资源分配 分布式架构 分片策略 关系网络 节点 数据分布 动态更新 异构
系统为您推荐了相关专利信息
1
一种基于AI的行为分析识别系统
识别系统 视频监控数据 智能大数据分析 视频监控设备 数据输入模块
2
一种AR花卉的信息展现方法及系统
信息展现方法 人物模型 云端大数据 神经网络模型 识别花卉
3
卫星网络控制器的部署方法及装置、电子设备及程序产品
控制器 动态变异策略 网络拓扑结构 节点 交换机
4
原料肉多形态机器仿人定量分切的路径规划方法及系统
密度分布特征 路径规划方法 数据预测模型 形态 大数据
5
一种基于大数据的膜池健康评价与智能反冲洗方法、系统、设备以及介质
指标 跨膜压差 大数据 参数 过滤水
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号