一种大数据存储方法及系统

AITNT
正文
推荐专利
一种大数据存储方法及系统
申请号:CN202411002286
申请日期:2024-07-25
公开号:CN118535652B
公开日期:2024-11-01
类型:发明专利
摘要
本发明提供一种大数据存储方法及系统,涉及数据处理技术领域。方法包括:构建基于MaaS模式的HDFS存储系统;获取待存储数据;设置所述待存储数据的安全级别;对所述待存储数据进行分块处理,得到多个数据块;以满足安全级别为约束,以最小化检索时间为目标,确定最佳的数据块放置策略;按照所述最佳的数据块放置策略,将各个数据块分布式存储在HDFS存储系统的存储节点上;分析各个数据块的访问频繁度;根据各个数据块的访问频繁度,动态调整各个数据块在存储节点中的副本数。本发明通过优化数据块放置策略,确保在满足安全需求的同时,最小化数据检索时间,提高系统的访问效率。
技术关键词
数据块放置策略 副本 大数据存储方法 鲸鱼优化算法 节点 计算机可读指令 大数据存储系统 接入点 机制 周期 热点 数据处理技术 分块 因子 螺旋 动态
系统为您推荐了相关专利信息
1
一种无网络状态下的Shell脚本任务调度方法和系统
脚本 队列 任务调度方法 重试机制 握手协议
2
确定飞行路径的方法及装置、非易失性存储介质
无人机 节点筛选方法 非易失性存储介质 地面控制站 感知系统
3
一种面向边缘云场景的QoS测量与不确定性评估方法
不确定性评估方法 变分贝叶斯 多层感知机 采样方法 场景
4
基于心电脑电耦合的情绪预测方法及系统
情绪预测方法 电信号 心电特征 耦合特征 时域相关性特征
5
一种充电站参与低电压治理场景的响应控制方法
响应控制方法 模型预测控制器 有功功率 节点 充电站
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号