基于大数据的动态数据压缩传输系统及方法

本发明涉及数据压缩传输技术领域，具体地说，涉及基于大数据的动态数据压缩传输系统及方法。其包括：数据采集与处理单元从多种数据源获取原始数据并进行处理；数据压缩执行单元通过LZ4压缩算法对原始数据进行压缩，并在LZ4压缩算法中引入基于动态熵权重的分层匹配DEW‑LZ4技术优化压缩过程；数据传输单元将压缩数据通过传输协议HTTPS进行网络传输，并根据网络状态采用机器学习Q‑Learning模型动态调整传输参数；接收端解压单元从网络中获取传输的压缩数据，并利用LZ4解压缩算法进行解压，恢复到原始数据格式。本发明设计通过引入基于动态熵权重的分层匹配DEW‑LZ4技术，该系统能够根据数据的不同特征（香农熵值）智能选择最优的压缩策略。