robots.txt禁止在通过浏览器请求时丢失斜杠

时间:2015-03-25 22:11:30

标签: robots.txt

当我编辑它时,我的robots.txt如下所示:

# no indexing at all:
User-agent: *
Disallow: /

但是当我通过浏览器请求它时,它不包含注释,这没关系,但是也没有删除disallow指令中的斜线,这反映了目的效果:

User-agent: *
Disallow:

因此,robots.txt测试服务就像 https://de.onpage.org/free-tools/robots-txt/ 说谷歌被允许爬行......

为什么丢失斜线?

0 个答案:

没有答案