摘要
本发明提供一种大数据存储方法及系统,涉及数据处理技术领域。方法包括:构建基于MaaS模式的HDFS存储系统;获取待存储数据;设置所述待存储数据的安全级别;对所述待存储数据进行分块处理,得到多个数据块;以满足安全级别为约束,以最小化检索时间为目标,确定最佳的数据块放置策略;按照所述最佳的数据块放置策略,将各个数据块分布式存储在HDFS存储系统的存储节点上;分析各个数据块的访问频繁度;根据各个数据块的访问频繁度,动态调整各个数据块在存储节点中的副本数。本发明通过优化数据块放置策略,确保在满足安全需求的同时,最小化数据检索时间,提高系统的访问效率。
技术关键词
数据块放置策略
副本
大数据存储方法
鲸鱼优化算法
节点
计算机可读指令
大数据存储系统
接入点
机制
周期
热点
数据处理技术
分块
因子
螺旋
动态
系统为您推荐了相关专利信息
无人机
节点筛选方法
非易失性存储介质
地面控制站
感知系统
不确定性评估方法
变分贝叶斯
多层感知机
采样方法
场景
情绪预测方法
电信号
心电特征
耦合特征
时域相关性特征
响应控制方法
模型预测控制器
有功功率
节点
充电站