非结构化数据的预处理方法、设备、介质及程序产品

本申请提供一种非结构化数据的预处理方法、电子设备、可读存储介质及计算机程序产品，该方法包括：识别非结构化数据的分层维度，并基于分层维度确定分层标准；基于分层标准对非结构化数据进行分层处理，得到分层数据；识别分层数据的数据特性，并基于数据特性确定对应的分块算法和分块大小；基于分块算法和分块大小对分层数据进行分块处理，得到分块数据；对分块数据进行去重处理，得到预处理数据。该方法能够确保系统能够灵活应对多种数据格式的存储需求，从而保障数据存储效率，降低存储成本和管理难度。