百度蜘蛛爬的太厉害，暂时封了几个ip段，为什么负载还是...

muyang · 发表于 2016-3-23 17:15:39

如题，今天不知道怎么回事，百度的蜘蛛爬的很厉害，负载升到一百多了

我暂时deny了几个ip段（访问量大的几个）

日志里显示，这几个ip段再次访问，已经返回403了

但负载还是没降，这是怎么回事呢，已经确定就是这些蜘蛛大量访问导致的

蜘蛛请求，再返回403，这也需要耗费服务器资源的吗？

cgs3238 · 发表于 2016-3-23 17:18:00

当然

muyang · 发表于 2016-3-23 17:21:25

cgs3238 发表于 2016-3-23 17:18
当然

那怎么才能暂时禁止这些ip段访问，先把负载降下来……

月痕 · 发表于 2016-3-23 17:26:38

负载那么高应该不是蜘蛛造成的吧你封了蜘蛛网站还想不想收录了

wys1997 · 发表于 2016-3-23 17:28:17

封掉蜘蛛，那你流量哪里来?

muyang · 发表于 2016-3-23 17:32:12

月痕发表于 2016-3-23 17:26
负载那么高应该不是蜘蛛造成的吧你封了蜘蛛网站还想不想收录了

先降了负载再看...现在老502，正常用户都打不开，负载要是不降，估记快要给我封机器了……

zhaorong65 · 发表于 2016-3-23 17:39:04

也有可能是伪装的蜘蛛，真的蜘蛛封了也是纠结啊

wkdhf233 · 发表于 2016-3-23 17:57:01

你从域名解析那边封，把那几个IP段解析到127.0.0.1去

鼎峰小胡 · 发表于 2016-3-23 18:45:26

垃圾蜘蛛太多了，屏蔽掉把

香港主机 · 发表于 2016-3-23 19:02:56

蜘蛛数太多，肯定会很耗服务器资源的

		自动登录	找回密码
密码			注册