一种日志分片压缩存储方法、装置、电子设备及介质

本发明公开了一种日志分片压缩存储方法、装置、电子设备及介质。通过实时获取与当前流水线任务对应的当前任务增量日志文件；根据各当前待分片压缩日志，来生成各当前标准待分片压缩日志，并结合动态时间窗口策略进行日志分块，生成至少一个当前待分片压缩日志分块；通过滑动窗口算法，依次对每个当前待分片压缩日志分块进行分片纵向提取，得到各纵向日志分片、以及未纵向分片剩余日志，并结合横向日志分片处理方法对未纵向分片剩余日志进行分片横向提取，得到各横向日志分片；通过自适应编码处理方法进行编码处理并存储于日志分片压缩存储数据库中。解决了当前重复模式日志占据了大量的存储空间的问题，提高了存储资源的利用率，降低了存储成本。