robots.txt文件禁止选项

Question

我想阻止机器人访问以/new结尾的网址。我正在修改我的robots.txt文件，如下所示：

Disallow: /*/new

这是否是用于禁止访问/new中终止的所有网址的正确模式？

Answer 1

是的，谷歌支持这个

尝试使用https://www.google.com/webmasters“网站配置＆gt;抓取工具访问权限”来测试针对给定网址的robots.txt文件

以下是此工具的结果

http://www.***.com/new/asdasd
Allowed by line 6: Allow: /

http://www.***.com/asdasd/new/
Blocked by line 8: Disallow: /*/new
Detected as a directory; specific files may have different restrictions

http://www.***.com/asdasd/new   
Blocked by line 8: Disallow: /*/new

Answer 2

Disallow: /new$ 

将检查以/new

结尾的网址