摘要
本发明公开了基于多级时间粒度的物联网全量数据持久化存储系统及方法,包括数据采集模块、多级存储管理模块、动态索引模块、压缩引擎模块和查询引擎模块;所述数据采集模块用于实时接收设备数据,所述多级存储管理模块用于动态划分时间窗口,执行冷热数据迁移策略,所述动态索引模块用于构建时间维度与设备ID的联合索引,所述压缩引擎模块用于根据数据特征选择最优压缩算法,所述查询引擎模块用于解析查询条件,通过索引定位数据块,优化IO读取顺序。本发明相比传统时序数据库,通过动态时间粒度划分与分层压缩算法,使存储成本降低;并且基于多级索引的查询优化,复杂时间范围查询效率提升数倍,复杂时间范围查询响应时间从分钟级降至亚秒级。
技术关键词
化存储系统
存储管理模块
数据迁移
索引
数据采集模块
压缩算法
动态时间窗口
特征选择
接收设备
策略
存储算法
可读存储介质
电子设备
频率
因子
冗余度
系统为您推荐了相关专利信息
多源GIS数据
三维地形数据
三维地形模型
LOD策略
流式数据处理架构
路径识别方法
振动系统
振动加速度信号
训练集数据
支承系统