[Windows VPS] mjj看下这是啥爬虫蜘蛛,新站第一天撒了上万 只看楼主

哪位mjj看下这是啥爬虫,河南跟北京这个第一天上线直接爬,用不用屏蔽
肯定屏蔽啊
  • 3# 叶子
  • 2021-3-30 13:27:03
图看不清楚
提示: 作者被禁止或删除 内容自动屏蔽
  • 5# iuko
  • 2021-3-30 13:33:11
引用: 叶子 发表于 2021-3-30 13:27
图看不清楚

河南111.7.100* 跟北京的36.110.199.*
  • 6# pxy185
  • 2021-3-30 13:55:03
图片看不清楚 欢迎用我图床
  • 7# Fei 该用户已被删除
  • 2021-3-30 13:55:46
提示: 作者被禁止或删除 内容自动屏蔽
先要判断一下真假 蜘蛛。

如果是真蜘蛛不用屏蔽,假蜘蛛则建议屏蔽


高频率的抓取请求对速度有影响。
你如果放了百度统计,不建议封爬虫
为啥,会增加百度以及其他搜索引擎收录
我以前几个站,一年有几个站,每个站3000+ip
就是自己用的挂机ip每天大量访问,增加收录和权重
  • 10# iuko
  • 2021-3-30 14:23:44
引用: 我是高富帅 发表于 2021-3-30 13:56
先要判断一下真假 蜘蛛。

如果是真蜘蛛不用屏蔽,假蜘蛛则建议屏蔽

肯定不是搜索爬虫,群里问了一个人说北京36是安全爬虫,然后问啥安全没回复
12下一页