一种基于分布式架构的大数据智能分析处理系统和方法

本发明涉及基于分布式架构的大数据智能分析处理系统和方法，该系统包括依次连接的数据采集模块、混合处理模块、智能数据分流模块、数据重组模块和数据分析模块，先从多源异构数据源中经增量抽取和批量抽取双通道分别获取实时大数据和批量大数据，实时大数据用CDC技术、两阶段提交入消息队列，批量大数据按时间戳/自增ID增量存分布式库；混合处理时，智能资源调度器借资源分配函数与集群状态评估做决策，任务分发器分解任务并动态加权分发；智能分流依规则与信息熵划分高频、低频数据；再经数据重组建立时间映射加权融合，最后分析重组数据，能够实现资源高效调度、数据精准分流与深度分析，兼顾实时性与可靠性，并提高了数据处理效率与分析精度。