一种数据分布式存储方法及装置

AITNT
正文
推荐专利
一种数据分布式存储方法及装置
申请号:CN202411945834
申请日期:2024-12-27
公开号:CN119376645B
公开日期:2025-04-11
类型:发明专利
摘要
本申请实施例公开了一种数据分布式存储方法及装置,方法包括:对待存储数据进行分片处理,获得初始分片结果;利用强化学习模型,根据历史访问数据对数据分片进行热度预测,获得数据分片的访问热度;基于数据分片的访问热度和重要性确定副本数量,根据副本数量生成数据分片的分片副本,根据访问热度和节点负载状态评分,将数据分片和分片副本存储到存储节点中;在存储节点负载失衡时,对存储节点存储的数据分片进行数据迁移,在某一存储节点的节点健康状态异常或存储的数据分片丢失时,对该存储节点存储的数据分片进行数据重建。本申请能够缓解了分布式存储系统中存在的访问负载不均、资源浪费及数据丢失等问题。
技术关键词
分片 节点健康状态 副本 历史访问数据 数据迁移 强化学习模型 分布式存储装置 剩余存储容量 分布式存储系统 指标 存储程序指令 数据存储单元 梯度算法 处理器 压缩算法 频率 可读存储介质
系统为您推荐了相关专利信息
1
基于大模型与检索增强生成的长视频多模态理解与问答方法及系统
多模态 语音识别模型 记忆 带时间 问答方法
2
一种基于资源副本的图卷积神经网络存算一体系统
阶段 顶点特征 副本 加法器 瓦片
3
一种自主喷涂系统和方法
生成喷涂轨迹 三维模型 喷涂系统 生成点云数据 喷涂方法
4
信息安全存储方法及装置
信息安全存储方法 分片 信息安全存储装置 加密 密钥
5
一种基于数据处理能力的数据协同处理方法、系统及设备
长短期记忆网络 网络连接状态 生成设备 分片策略 数据更新设备
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号