在你告诉我'你有什么尝试'并且'自己测试'之前，我想注意robots.txt更新我的网站在搜索引擎上的任何网站都非常慢，如果你能提供理论经验，那将不胜感激。
例如，是否可以允许：
http://www.example.com
并阻止：
http://www.example.com/?foo=foo
我不太确定。
帮助？
答案 0 :(得分：6)
根据Wikipedia，“robots.txt模式通过简单的子字符串比较进行匹配”，因为GET字符串是您应该只能添加的网址：
Disallow: /?foo=foo
或更像花哨的东西
Disallow: /*?*
禁用所有获取字符串。星号是通配符，因此它匹配任何内容的一个或多个字符。