我想从机器人中排除此网址: - test.com/p/12345/qwerty
但请允许此网址: - test.com/p/12345
这条线路能运作吗?
User-Agent: *
Disallow: */p/*/*
由于
答案 0 :(得分:0)
根据这个tutorial,开头不需要*。它应该是:
User-Agent: *
Disallow: /p/*/*
请注意,这会在像test.com/p/abc/def这样的地址上阻止机器人的副作用
为了完成你要求的确切功能而没有更多(即没有副作用),请使用:
User-Agent: *
Disallow: /p/12345/qwerty
默认情况下,将允许test.com/p/12345。