Robots.txt不允许使用特定类型的网址

时间:2015-10-21 10:22:48

标签: robots.txt

我想从机器人中排除此网址: - test.com/p/12345/qwerty

但请允许此网址: - test.com/p/12345

这条线路能运作吗?

User-Agent: *
Disallow: */p/*/*

由于

1 个答案:

答案 0 :(得分:0)

根据这个tutorial,开头不需要*。它应该是:

User-Agent: * 
Disallow: /p/*/*


请注意,这会在像test.com/p/abc/def这样的地址上阻止机器人的副作用
为了完成你要求的确切功能而没有更多(即没有副作用),请使用:

User-Agent: *
Disallow: /p/12345/qwerty
默认情况下,将允许

test.com/p/12345。