摘要
本申请实施例公开了一种数据分布式存储方法及装置,方法包括:对待存储数据进行分片处理,获得初始分片结果;利用强化学习模型,根据历史访问数据对数据分片进行热度预测,获得数据分片的访问热度;基于数据分片的访问热度和重要性确定副本数量,根据副本数量生成数据分片的分片副本,根据访问热度和节点负载状态评分,将数据分片和分片副本存储到存储节点中;在存储节点负载失衡时,对存储节点存储的数据分片进行数据迁移,在某一存储节点的节点健康状态异常或存储的数据分片丢失时,对该存储节点存储的数据分片进行数据重建。本申请能够缓解了分布式存储系统中存在的访问负载不均、资源浪费及数据丢失等问题。
技术关键词
分片
节点健康状态
副本
历史访问数据
数据迁移
强化学习模型
分布式存储装置
剩余存储容量
分布式存储系统
指标
存储程序指令
数据存储单元
梯度算法
处理器
压缩算法
频率
可读存储介质
系统为您推荐了相关专利信息
生成喷涂轨迹
三维模型
喷涂系统
生成点云数据
喷涂方法
信息安全存储方法
分片
信息安全存储装置
加密
密钥
长短期记忆网络
网络连接状态
生成设备
分片策略
数据更新设备