一种基于可插拔数据加工组件的离线数据处理方法及系统

本发明提供了一种基于可插拔数据加工组件的离线数据处理方法及系统，包括以下步骤：构建分布式调度‑采用Master‑Slave的架构模式，使用Zookeeper作为分布式协调服务；建立任务编排；本发明通过可视化界面编排形成DAG数据加工逻辑任务，通过充分利用分布式计算资源和可配置的数据加工组件，实现高效、灵活、可扩展的数据建模，适用于各种大规模、多样化的数据处理场景，通过采用Master‑Slave的分布式架构，使离线数据模型支持横向扩展，能够有效处理大规模的任务调度需求，提高系统的可扩展性，本发明不仅支持传统的数据处理任务，还支持多样化的任务类型，包括机器学习任务、ShelI脚本任务等，满足不同业务场景的建模需求。