一种面向网络安全测量的爬虫算法配置有效性评估方法及系统

本发明提出了一种面向网络安全测量的爬虫算法配置有效性评估方法及系统，属于网络安全测量技术领域。定义爬虫算法的可调配置与网络安全测量指标；收集并输入代表性待测量网站集合；生成待评估算法配置方案；对所有配置方案进行二阶段的页面爬取，包括针对搜索策略的基准页面爬取与针对配置参数的网络测量指标数据爬取；建立针对网络测量指标数据的多维评估模型，包括指标量化有效性分析、指标数据相似性分析与指标参数敏感性分析；结合多维安全测量指标，生成最优的系列爬虫配置参数。本发明解决了现有爬虫算法配置评估中技术场景适应性差、测量指标维度单一的核心缺陷，实现了算法参数配置与网络安全测量需求的高精度匹配。