全球主机交流论坛

标题: 通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀 [打印本页]

作者: 商务布丁 时间: 2022-3-8 13:16
标题: 通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。

在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。

欢迎光临全球主机交流论坛 (https://52.ht/)