我正在寻找所有标签页面的NOINDEX，即
http://example.com/tags/tabs
http://example.com/tags/people
等
如果我将以下内容添加到我的robots.txt页面（请参阅：http://jsfiddle.net/psac2uzy/）
Disallow: /tags/
Disallow: /tags/*
这会阻止Google索引我的所有代码页吗？
即使这些路径与Drupal结构不同（因为Drupal会在数据库中保留内容）？
答案 0 :(得分：0)
注意：您不能禁止使用robots.txt进行索引，您只能禁止抓取（related answer）。
重要的是您的用户（其中包括搜索引擎）看到的实际网址。他们无法访问您的后端，因此他们甚至不知道您的网站是如何协同工作的。
行Disallow: /tags/（不需要另一个*）意味着不应抓取路径以/tags/开头的所有网址。因此，假设robots.txt位于http://example.com/robots.txt，这将阻止例如：
http://example.com/tags/ http://example.com/tags/foo http://example.com/tags/foo/bar 如果你的标签在不同的URL下可用（例如，Drupal的默认/taxonomy/term/…），并且机器人找到这些替代URL，它当然可以抓取它们。因此，始终重定向到您要使用的一个规范网址通常是一个好主意。
答案 1 :(得分：-1)
之前添加：
User-Agent: *
Crawl-Delay: 10
Disallow: /tags
（也许您可以尝试不清理网址：Disallow: /?q=tags）
查看this页面了解详情。
希望有所帮助