数仓自动化ETL过程中的数据处理方法及系统

本发明公开了数仓自动化ETL过程中的数据处理方法及系统；本发明涉及数据仓库技术领域；按照ETL流程图中定义的数据抽取步骤，从数据源表中抽取数据。在抽取过程中，根据配置的完整性检测规则，对抽取的数据进行初步检查，包括检查记录行数是否符合预期，和字段值是否为空或缺失；通过完整性检测规则，在数据抽取阶段就能有效过滤掉不符合要求的数据，如记录行数不符、字段值为空或缺失的数据。这避免了“垃圾数据”进入后续处理流程，保证了进入转换阶段的数据具有较高的质量基础。例如在客户信息抽取过程中，若客户姓名、联系方式等关键字段为空的数据会被标记并后续处理，确保后续分析基于完整有效的客户数据。