我试图在不允许User-agent: *
Disallow: /folder
Allow: /folder/*
的地方进行设置，但允许{{1}}。我把它设置如下：
{{1}}
在使用Google robots.txt测试程序进行测试时有效，但如果我查看日志，我可以看到Googlebot会点击/ folder以外的所有网址。
我错过了什么吗？应该允许先行？
答案 0 :(得分：-2)
我认为这个应该有效：
User-agent: *
Disallow: /folder/$
Allow: /folder/*