摘要
本发明涉及一种数据存储分配方案获取方法,属于数据存储空间分配技术领域,解决了现有技术中分区算法会导致数据倾斜的问题。获取待处理数据集,并确定处理该待处理数据集的集群;计算分区数量;基于第一分区算法计算所述待处理数据集中的每一条数据所对应的初始目标分区,并计算每个初始目标分区的数据量;判断各个初始目标分区的数据量是否超过所述预设分区大小,对于超过预设分区大小的初始目标分区,依次执行数据初次分配操作,使得各个初始目标分区的数据量均小于所述预设分区大小;计算当前分配方案下的平衡系数,若平衡系数满足预设阈值范围区间,则依据当前分配方案将所述待处理数据集中每一条数据分配至对应的初始目标分区;若不满足,则执行再次分配操作。实现了一种数据资源均匀分配,数据查询效率高,资源使用均衡的数据存储分配方法。
技术关键词
分区
数据存储分配方法
集群
变量
数据存储空间
哈希算法
键值
频率
字段
资源
核心
系统为您推荐了相关专利信息
强化学习框架
深度强化学习
路径规划方法
动态路径规划
深度Q神经网络
主动减振方法
隶属度函数
模糊推理
模糊规则库
模糊集合
智能伺服系统控制
生成补偿信号
切削力传感器
模糊逻辑控制器
立柱
动力计算方法
方程
多层感知机
编码
神经网络架构