大数据集群迁移中的数据验证方法、装置、设备及介质

AITNT
正文
推荐专利
大数据集群迁移中的数据验证方法、装置、设备及介质
申请号:CN202511045588
申请日期:2025-07-28
公开号:CN120950481A
公开日期:2025-11-14
类型:发明专利
摘要
本发明涉及大数据技术领域,提供了一种大数据集群迁移中的数据验证方法、装置、设备及介质,其中方法包括:获取源数据集群和目标数据集群;根据标准数仓分层策略分别将源数据集群和目标数据集群划分为多个数据层,并针对各数据层绑定不同的数据比对策略;建立指纹基线表并构建抽样模型特征库;对各数据层进行数据分片处理,控制各数据层并行执行数据比对任务;若检测到目标数据集群和源数据集群的任一数据层存在差异,记录差异数据并进行数据修复。本发明通过将源数据集群和目标数据集群分层并行分片比对,让每一层的多个分片同时并行地进行数据比对任务,对各数据层绑定不同的比对策略,能够比对过程,提高整体的数据处理效率。
技术关键词
数据验证方法 集群 分层策略 分片 抽样模型 指纹 指标 黄金 降级策略 可读存储介质 大数据技术 数据获取模块 字段 队列 处理器 特征工程 报表
系统为您推荐了相关专利信息
1
基于大模型的训练语料质量评估方法、装置、设备及存储介质
目录 列表 评估系统 分片 质检方法
2
一种氢储能优化配置方法
储能优化配置方法 集群 充放电功率 调控模型 双层规划模型
3
移动路由的分簇方法、装置、电子设备和存储介质
列表 集群 邻居 非暂态计算机可读存储介质 算法
4
一种多学科分布式并行优化的自动部署方法
自动部署方法 多学科优化平台 计算机网络集群 神经网络模型 负载均衡器
5
环保治理设备集群的远程运维管理与故障预警系统及方法
远程运维管理 环保治理设备 故障预警系统 指数 集群
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号