一种列式存储格式及分层索引优化的Hadoop的海量小文件读取方法

本发明属于计算机技术领域，公开了一种列式存储格式及分层索引优化的Hadoop的海量小文件读取方法，所述方法适用于在Hadoop平台中搭建有用于存储海量图片小文件及其属性信息的Hbase系统、以及分布式协调管理系统ZooKeeper，如下：向基于内存的热点缓存索引层的服务进程发起查询请求，根据一致性哈希算法查询热点缓存索引层中缓存的热点数据是否存在查询请求数据；若存在，则直接返回热点缓存索引层反馈的查询结果；若不存在，则将查询转发给基于Hbase的持久化索引存储层进行查询，并返回查询结果；所述持久化索引存储层存储包括基于HBase的图片存储策略建立用于存储图片小文件及其属性信息的HBase原始表、以及根据HBase原始表中的非行键属性建立的索引表。