海量数据存储优化方法、设备和存储介质

本申请涉及大数据处理技术领域，提供了海量数据存储优化方法，该方法包括：根据数据的访问频率和/或访问时间对目标数据进行分析，将目标数据划分为热数据、温数据和冷数据；针对热数据、温数据和冷数据，分别采用对应的压缩算法进行压缩处理；在存储目标数据之前，根据目标数据的指纹对目标数据进行去重；实时监控内存的使用情况、对目标数据的访问频率以及压缩算法的性能并根据监控结果调配系统资源；设置多级缓存，并根据目标数据被划分的种类将不同种类的目标数据缓存至多级缓存。本申请的技术方案可以对海量数据的高效存储和快速访问，显著提升了存储空间利用率和系统整体性能。