简单的问题。我想补充一下：
Disallow */*details-print/
基本上，在此示例中以/foo/bar/dynamic-details-print --- foo和bar形式阻止规则也可以是完全动态的。
我认为这很简单，但是在www.robotstxt.org上有这样的信息：
另请注意，User-agent或Disallow行不支持globbing和正则表达式。 User-agent字段中的'*'是一个特殊值，意思是“任何机器人”。具体来说，您不能拥有“User-agent： bot ”，“Disallow：/ tmp / *”或“Disallow：* .gif”这样的行。
所以我们不能这样做？搜索引擎是否遵守它？但是，有Quora.com's robots.txt个文件：
Disallow: /ajax/
Disallow: /*/log
Disallow: /*/rss
Disallow: /*_POST
那么，谁是对的 - 或者我是否误解了robotstxt.org上的文字？
谢谢！
答案 0 :(得分：9)
答案是“它取决于”。在robotstxt.org中定义的robots.txt“standard”是机器人应该支持的最小值。 Googlebot，MSNbot和Yahoo Slurp支持一些常见的扩展，并且真的不知道其他机器人支持什么。有些人说他们支持什么，有些人不支持。
通常，您可以期待主要的搜索引擎机器人支持您编写的通配符，并且您拥有的通配符看起来会起作用。最好的办法是将其运行一个或多个these robots.txt验证程序，或使用Google的Webmaster tools进行检查。