全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 1497|回复: 15

额,淘宝的robots.txt

[复制链接]
发表于 2013-5-15 23:10:24 | 显示全部楼层 |阅读模式
http://www.taobao.com/robots.txt



http://www.baidu.com/s?wd=taobao
发表于 2013-5-15 23:12:28 | 显示全部楼层
百度开始做有啊的时候还是之前就开始了 貌似
发表于 2013-5-15 23:12:53 | 显示全部楼层
早在很久以前。。马云就说了。。不被百度收录了
发表于 2013-5-15 23:13:09 | 显示全部楼层
百度无视robots
 楼主| 发表于 2013-5-15 23:14:24 | 显示全部楼层
关键是这句 : 由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述  
发表于 2013-5-15 23:14:29 | 显示全部楼层
百度无视robots
发表于 2013-5-15 23:14:29 | 显示全部楼层
l12ab 发表于 2013-5-15 23:13
百度无视robots

Yahoo Google都這樣的,
你網站太大, 一樣收錄, 反正就是寫住因為rebot.txt限制, 就一樣會給你排上去, 始終你是大網站
发表于 2013-5-15 23:24:29 | 显示全部楼层
老马跟老李是仇人
发表于 2013-5-15 23:25:46 | 显示全部楼层
百度根据锚文本判断 不抓取内容
发表于 2013-5-15 23:30:28 | 显示全部楼层
百度完全有根据robots爬行

这个是故意的
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-1-10 22:45 , Processed in 0.094641 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表