海量文件数据流的存储方法、存储系统及大数据处理系统

本发明涉及计算机应用技术领域，公开一种海量文件数据流的存储方法、存储系统及大数据处理系统，在数据流和存储节点之间部署轮转状态转换模型，通过多节点缓存分散存储压力。存储方法包括：预设文件大小分界点；海量文件数据输入，逐一判断输入的文件大小是否小于等于分界点；小于等于分界点的文件数据通过轮转状态转换模型存储在选定的存储节点中；生成所有小文件的索引信息，并将索引信息合并至索引文件，每个索引文件均以B+树的形式组织数据，以获得索引数据桶；多个索引数据桶均以数据块形式存储在存储节点，将所有索引数据桶按顺序保存为索引数据桶队列。本发明能有效解决传统分布式存储系统面对海量文件时写性能下降，效率低等问题。