基于文件存储的多维指标去重装置、电子设备和存储介质

本发明提供了基于文件存储的多维指标去重装置、电子设备和存储介质，文件存储系统基于PC Server和文件存储搭建物理架构，存储Parquet格式多维指标文件。元数据库存储多维指标文件信息、预计算状态信息和去重信息。多维指标去重引擎接收并解析用户指令，从元数据库读取目标多维指标相关信息，获取对应文件进行去重，或触发预计算流程后再获取文件执行去重。预计算处理器读取目标多维指标对应的原始数据，进行预计算处理生成目标多维指标文件并存储到文件存储系统，并更新元数据库中的预计算状态。本装置采用普通文件系统实现存储介质革新，并利用文件特性实现预计算协同优化，同时实现多维指标去重性能的大幅优化，支持亿级多维指标去重优化至秒级。