限制（特定）查询字符串（参数）值的机器人访问？

Question

使用robot.txt是否可以限制（特定）查询字符串（参数）值的机器人访问？

即

http://www.url.com/default.aspx  #allow
http://www.url.com/default.aspx?id=6  #allow
http://www.url.com/default.aspx?id=7  #disallow

Answer 1

User-agent: *
Disallow: /default.aspx?id=7  # disallow
Disallow: /default.aspx?id=9  # disallow
Disallow: /default.aspx?id=33 # disallow

etc...

您只需指定不允许的网址。其他一切都是默认允许的。

Answer 2

可以只定义查询变量，例如

禁止：/default.aspx？id = *

或更好

禁止：/ ？id =