摘要
本发明涉及文件存储管理的技术领域,公开了基于Lustre架构的高性能文件存储与处理方法及系统,该方法包括:获取文件访问的时空特征;基于所述时空特征预测文件的热度值;基于文件的热度值确定文件的存储策略;基于所述存储策略对文件进行分布式存储,并持续检测节点状态;若检测到节点负载不稳定,则对负载不稳定的节点进行自适应数据迁移;若检测到节点出现故障,则基于节点的三维拓扑坐标生成数据恢复路径,并基于所述数据恢复路径迁移出现故障的节点存储的文件;本申请通过文件热度值来确定存储策略,并对节点异常情况进行高效处理,从而全面提升文件存储与处理的性能和效率。
技术关键词
检测节点状态
特征值
高性能
逻辑拓扑信息
物理拓扑信息
数据迁移
数据管理模块
策略
文件存储管理
数据采集模块
分片
标签
LSTM模型
源节点
坐标
偏差
标记
序列
系统为您推荐了相关专利信息
LSTM神经网络
优化调度模型
粒子群算法
负荷
GA遗传算法
信息物理系统
评估系统
智能识别模块
特征值
格式化
变压器匝间短路
能量分布特征
信号
特征值
故障特征提取