除了Google和co之外，这里还有其他每个机器人的部分。
# Every bot that might possibly read and respect this file.
User-agent: *
Allow: /search
Disallow: /search/users
Disallow: /search/*/grid
Disallow: /*?
Disallow: /*/with_friends
Disallow: /oauth
Disallow: /1/oauth
“不允许：/ *？”禁止所有网址，在这种情况下，下面的规则是多余的，或者只允许包含问号的网址？
更一般地说，我有兴趣知道我是否可以访问某个人的个人资料页面并自动关注他们个人网站的链接。在链接之后没有在中间刮擦。
谢谢，
Raz
答案 0 :(得分：1)
robots.txt规范仅允许*作为通配符，因此/*?不允许以空查询字符串结尾的所有网址。由于?不是通配符，/*?不会禁止所有网址，只包含以?结尾的网址。