摘要
本发明涉及大数据技术领域,提供了一种大数据集群迁移中的数据验证方法、装置、设备及介质,其中方法包括:获取源数据集群和目标数据集群;根据标准数仓分层策略分别将源数据集群和目标数据集群划分为多个数据层,并针对各数据层绑定不同的数据比对策略;建立指纹基线表并构建抽样模型特征库;对各数据层进行数据分片处理,控制各数据层并行执行数据比对任务;若检测到目标数据集群和源数据集群的任一数据层存在差异,记录差异数据并进行数据修复。本发明通过将源数据集群和目标数据集群分层并行分片比对,让每一层的多个分片同时并行地进行数据比对任务,对各数据层绑定不同的比对策略,能够比对过程,提高整体的数据处理效率。
技术关键词
数据验证方法
集群
分层策略
分片
抽样模型
指纹
指标
黄金
降级策略
可读存储介质
大数据技术
数据获取模块
字段
队列
处理器
特征工程
报表
系统为您推荐了相关专利信息
储能优化配置方法
集群
充放电功率
调控模型
双层规划模型
自动部署方法
多学科优化平台
计算机网络集群
神经网络模型
负载均衡器
远程运维管理
环保治理设备
故障预警系统
指数
集群