禁止/ * foo但允许/ * bar?foo = foo(即如果查询字符串可能包含相同名称,如何禁止API?)

时间:2017-05-21 18:52:19

标签: robots.txt

我想禁止/*foo端点,无论其查询字符串如何,但无论其查询字符串如何,都允许/*bar

如下所示的robots.txt也会禁止/*bar?foo=foo使用查询字符串,或使用包含foo的更高路径,例如/foo/bar

User-agent: *
Disallow:   /*foo

在这种情况下我应该如何设置robots.txt?在这种情况下,将$放在最后是否有效?

“标准”robots.txt不接受通配符,所以我说的是Google使用的那些。

0 个答案:

没有答案