一种结合多线程的细粒度流量无损压缩方法

本发明涉及流量存储优化与流量数据压缩领域，尤其涉及一种结合多线程的细粒度流量无损压缩方法，包括：采集流量数据文件，基于流量数据文件提取得到头部三元组，根据所述头部三元组生成标识符，按照相同标识符的所述流量数据文件进行聚合，得到数据流，根据数据流的数据量生成排序后的数据流大小表；根据系统算力，创建线程，根据所述数据流大小表和线程负载情况，将数据流分配给线程负载最小的线程，输出数据流分配方案；对每个数据流进行细粒度表征与序列化，得到整数序列和字节序列，针对整数序列和字节序列的冗余特性选择压缩处理方法，得到消除冗余后的序列并写入压缩文件。本发明旨在保障数据精度的同时提供高的压缩效率以降低存储成本。