一种用于收集大规模IP地址数据的方法及装置

本发明涉及网络数据处理领域，公开一种用于收集大规模IP地址数据的方法及装置，提出了两种高效的大规模IP地址统计算法，旨在平衡时间效率与内存消耗。本发明充分考虑了IP地址统计的稀疏性特征，并通过动态调整分层内存块间的映射关系实现优化。在一个方法中，采用双层结构，每层由若干固定数量的内存块组成。每个内存块包含256个元素，单个元素大小为8字节，适配64位系统。与内置哈希表相比，该方法完全避免了哈希冲突，同时保持了基于哈希方法的线性时间复杂度。进一步地，提出并行优化方案以加速数据统计。实验结果表明，所提方法在合成与真实数据集上的时间和空间效率均显著优于基线算法。