一种大容量文件实施压缩读取方法

本发明属于任务规划数据处理技术领域，具体涉及一种大容量文件实施压缩读取方法，包括：根据设计参数划分文件每行数据的组别；存储文件中不重复的数据项；建立不重复数据列与其存储位置的映射表；按有效行建立文件数据存储位置索引表；按组别建立文件有效行索引表；去除无效数据将数据文件压缩；基于索引表快速索引压缩后的数据文件；自动补全无效数据并输出。本发明可以将大容量文件压缩成只有源文件的3％左右的小文件，并可直接从压缩文件中读取压缩数据，再通过数据解析过程将压缩数据解析成原始数据。本发明压缩率可稳定在97％左右，同时保证了极高的读取效率，方便大容量系统数据的安装、部署和使用。