robots.txt 怎么配置只收录首页其他页面一律不收录！

dahai0405 · 发表于 2020-10-4 09:59:24

robots.txt 怎么配置只收录首页

其他页面一律不收录！

hanweizhe · 发表于 2020-10-4 10:22:50

User-agent: *
Allow: /首页文件（一般是index之类的）
Disallow: /

dahai0405 · 发表于 2020-10-4 10:28:05

hanweizhe 发表于 2020-10-4 10:22
User-agent: *
Allow: /首页文件（一般是index之类的）
Disallow: /

谢谢大佬！

电光 · 发表于 2020-10-4 10:49:11

二楼的正解，但是Disallow: /后面加上一些不需要收录的，比如管理后台 admin目录什么的

		自动登录	找回密码
密码			注册

robots.txt 怎么配置 只收录首页 其他页面一律不收录！