一种分层架构的大数据整合与分流单元部件及使用方法

本发明提供了一种分层架构的大数据整合与分流单元部件及使用方法，涉及数据集成与处理技术领域，解决了多源异构数据实时集成、统一处理和安全分发的问题。装置采用五层模块化架构：数据接入层支持多源数据接入并通过Kafka缓冲；清洗转换层利用FlinkSQL、ETL引擎和规则引擎进行数据清洗与标准化；智能分流层结合规则引擎与机器学习模型判断数据分流路径；存储计算层采用冷热分离存储策略，支持Spark批处理与Flink流处理并行运行；服务与安全层通过API网关提供接口，并结合AES‑256加密与RBAC访问控制保障数据安全。此外，本发明通过Kubernetes实现动态资源调度，利用联邦学习技术支持跨域模型协同训练，提升智能分流决策能力，并兼容MQTT、Modbus等多种工业协议，支持VXLAN隧道传输。