一种基于文件交互实现集群数据批量处理的方法及系统

本发明提供一种基于文件交互实现集群数据批量处理的方法及系统，所述方法包括以下步骤：步骤1：在配置文件中配置用于处理批量的主机群地址端口信息、线程数量；步骤2：在数据库中配置批量信息表文件，包括用于控制批量运行方式的批量信息配置表、记录批量运行情况的批量运行登记表、用于文件交互的ftp服务配置信息表；步骤3：使用java构建实现数据统筹管理的基础组件、主任务管理功能；步骤4：完成批量任务业务流程组装。本发明用以解决现有技术中在处理大量数据时遇到的耗时长、调整方案操作风险大、不可通过增加主机数量、自由调整批量处理模式为单机或集群的问题。