一种基于服务网格的分布式爬虫方法、介质和设备

本发明公开了一种基于服务网格的分布式爬虫方法、介质和设备，该方法包括：若单位时间内失败请求的占比超过了预设比例，则触发熔断机制，自动熔断对目标网站的所有爬虫请求；以及在满足熔断恢复条件后，重新接收第一数量的爬虫请求，统计目标网站对第一数量的爬虫请求的第一响应成功率，若第一响应成功率大于预设第一成功率，则重新接收第二数量的爬虫请求，统计目标网站对第二数量的爬虫请求的第二响应成功率，若第二响应成功率大于预设第二成功率，则停止熔断机制，恢复目标网站对所有爬虫请求的响应，第二数量大于第一数量。通过设置熔断机制可以有效防止因为某个网站的问题导致整个爬虫系统瘫痪，提升爬虫的稳定性。