当我编辑它时,我的robots.txt如下所示:
# no indexing at all:
User-agent: *
Disallow: /
但是当我通过浏览器请求它时,它不包含注释,这没关系,但是也没有删除disallow指令中的斜线,这反映了目的效果:
User-agent: *
Disallow:
因此,robots.txt测试服务就像 https://de.onpage.org/free-tools/robots-txt/ 说谷歌被允许爬行......
为什么丢失斜线?