一种基于大数据的设备数据存储管理方法及系统

本发明属于大数据存储技术领域，具体为一种基于大数据的设备数据存储管理系统，包括数据采集模块、分布式存储集群、智能索引引擎、冗余管理模块和监控告警模块；数据采集模块的输出端与分布式存储集群的输入端连接，分布式存储集群的输出端与智能索引引擎的输入端连接；管理方法包括以下步骤：S1：采集设备数据并解析为统一格式；S2：通过哈希算法将数据动态映射至存储节点；S3：构建实时索引并写入持久化存储；S4：根据访问频率自动迁移冷热数据至不同存储层级。本发明通过动态分片、智能索引及冗余优化，解决了海量设备数据存储的扩展性与可靠性问题，适用于智慧城市、智能制造等场景。