一种解决大数据系统高并发问题的批次表设计方法

本发明公开了一种解决大数据系统高并发问题的批次表设计方法。搭建一个高可用的Hadoop集群、Redis双活集群、DolphinScheduler集群、Spark、Hive、Mysql；将每天T+1调度产生的业务数据全量存入Hive表中；同时将这份全量数据以特定的数组格式通过Spark计算存入Redis双活集群，形成一个最新批次；同时将批次信息记录到Mysql；基于Mysql的批次信息复查Redis双活集群；基于Redis双活集群定期清理过期批次数据；基于DolphinScheduler集群调度上述任务。