标签: robots.txt
我想禁止/*foo端点,无论其查询字符串如何,但无论其查询字符串如何,都允许/*bar。
/*foo
/*bar
如下所示的robots.txt也会禁止/*bar?foo=foo使用查询字符串,或使用包含foo的更高路径,例如/foo/bar。
/*bar?foo=foo
foo
/foo/bar
User-agent: * Disallow: /*foo
在这种情况下我应该如何设置robots.txt?在这种情况下,将$放在最后是否有效?
$
“标准”robots.txt不接受通配符,所以我说的是Google使用的那些。