全球主机交流论坛

标题: 百度蜘蛛爬的太厉害，暂时封了几个ip段，为什么负载还是... [打印本页]

作者: muyang 时间: 2016-3-23 17:15
标题: 百度蜘蛛爬的太厉害，暂时封了几个ip段，为什么负载还是...
如题，今天不知道怎么回事，百度的蜘蛛爬的很厉害，负载升到一百多了

我暂时deny了几个ip段（访问量大的几个）

日志里显示，这几个ip段再次访问，已经返回403了

但负载还是没降，这是怎么回事呢，已经确定就是这些蜘蛛大量访问导致的

蜘蛛请求，再返回403，这也需要耗费服务器资源的吗？

作者: cgs3238 时间: 2016-3-23 17:18
当然

作者: muyang 时间: 2016-3-23 17:21

cgs3238 发表于 2016-3-23 17:18
当然

那怎么才能暂时禁止这些ip段访问，先把负载降下来……

作者: 月痕 时间: 2016-3-23 17:26
负载那么高应该不是蜘蛛造成的吧你封了蜘蛛网站还想不想收录了

作者: wys1997 时间: 2016-3-23 17:28
封掉蜘蛛，那你流量哪里来?

作者: muyang 时间: 2016-3-23 17:32

月痕发表于 2016-3-23 17:26
负载那么高应该不是蜘蛛造成的吧你封了蜘蛛网站还想不想收录了

先降了负载再看...现在老502，正常用户都打不开，负载要是不降，估记快要给我封机器了……

作者: zhaorong65 时间: 2016-3-23 17:39
也有可能是伪装的蜘蛛，真的蜘蛛封了也是纠结啊

作者: wkdhf233 时间: 2016-3-23 17:57
你从域名解析那边封，把那几个IP段解析到127.0.0.1去

作者: 鼎峰小胡 时间: 2016-3-23 18:45
垃圾蜘蛛太多了，屏蔽掉把

作者: 香港主机 时间: 2016-3-23 19:02
蜘蛛数太多，肯定会很耗服务器资源的

欢迎光临全球主机交流论坛 (https://52.ht/)