一种基于Kettle和Dify的大数据智能识数及数据脱敏的系统及方法

本发明涉及大数据处理技术领域，具体为一种基于Kettle和Dify的大数据智能识数及数据脱敏的系统及方法，包括：数据读取模块，数据预处理模块，数据智能识别及脱敏模块，数据存储模块，监控与管理模块以及任务调度及优化模块；有益效果为：通过Kettle集成Dify的Prompt，实现了异构数据中数值字段的自动发现、语义分类及数据脱敏。结合机器学习与规则引擎，在数据处理流程中实现了低延迟的智能识数功能，提高了数据处理的自动化水平、准确性和效率，满足了大数据环境下对数据安全和高效处理的需求，具有广泛的应用前景和重要的经济价值。