一种基于分布式流处理的大数据分析方法、设备及介质

本申请公开了一种基于分布式流处理的大数据分析方法、设备及介质，方法包括：采集数据源的数据，将数据进行格式转换，以对格式转换后的数据进行流处理；通过流处理引擎将数据进行划分，以得到多个子流，对多个子流进行并行处理，以得到并行结果；根据并行结果进行实时分析，以得到决策信息，将决策信息保存至数据库中。本申请通过分布式流处理引擎，实现了大数据的实时处理和分析，提高了处理效率；采用滑动窗口算法，在有限的内存和计算资源下实现实时统计和分析；实时分析模块可以提取出有价值的信息，为用户提供决策支持；结果存储模块为后续的数据挖掘和分析提供了数据支持。