一种大批量数据处理方法及系统

本发明公开了一种大批量数据处理方法及系统，涉及大批量数据处理技术领域，包括采用分布式消息队列对多源异构数据进行实时采集，得到原始数据流；采用熵权动态分片算法对原始数据流进行分片处理，得到均匀分布的数据分片；基于原始数据流构建结合HyperLogLog++与布隆过滤器的混合模型，并对数据分片进行去重，得到唯一数据集合；采用Δ‑收敛判据对唯一数据集合进行迭代计算，得到最终分析结果；采用列式存储将分析结果写入分布式文件平台；通过采用分布式消息队列对多源异构数据进行实时采集，实现了高效的数据收集与传输机制，设计使得方法可以轻松应对大规模数据的流入，增强了方法的可扩展性和稳定性。