Robots.txt不允许使用特定类型的网址

Question

我想从机器人中排除此网址： - test.com/p/12345/qwerty

但请允许此网址： - test.com/p/12345

这条线路能运作吗？

User-Agent: *
Disallow: */p/*/*

由于

Answer 1

根据这个tutorial，开头不需要*。它应该是：

User-Agent: * 
Disallow: /p/*/*

请注意，这会在像test.com/p/abc/def这样的地址上阻止机器人的副作用
为了完成你要求的确切功能而没有更多（即没有副作用），请使用：

User-Agent: *
Disallow: /p/12345/qwerty

默认情况下，将允许

test.com/p/12345。