论坛 › Web技术 › 有什么办法 不让网站 被各大搜索引擎收录

余晖脉脉 发表于 2017-8-19 19:26:57

醉里耍大刀 发表于 2017-8-19 19:44:40

头部返回500状态

Rabbey 发表于 2017-8-19 19:46:20

用这个 http://tool.chinaz.com/robots/

kaivps代理 发表于 2017-8-19 19:47:01

CC策略屏蔽引擎

十十 发表于 2017-8-19 19:50:36

以lnmp为例，在/usr/local/nginx/conf/vhost文件夹中找到你的域名配置文件，输入以下代码：
if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
return 403;
}
然后重启nginx生效，能不让搜索引擎收录，但是我的网站还是被墙了

Tran 发表于 2017-8-19 21:10:25

设置网站访问密码

kyotrue 发表于 2017-8-19 23:26:05

垃圾域名就不会被收录，TK、ML这些

njav 发表于 2017-8-19 23:48:48

dvbhack 发表于 2017-8-19 19:23
就是robots.txt，“各大搜索引擎”还是能遵守的，不遵守的都是些不知道什么玩意儿的搜索引擎 ...

google就帶頭不遵守

风铃 发表于 2017-8-20 01:36:43

屏蔽了还是会收录 比如你在百度搜索淘宝网那种效果，最好的是直接屏蔽搜索引擎的ip地址

billyfish152 发表于 2017-8-20 01:38:13

你需要按照防采集的思路防搜索引擎

查看完整版本: 有什么办法 不让网站 被各大搜索引擎收录