Question

这是这样做的吗？

User-agent: *
Allow: /
Disallow: /a/*

我有以下网页：

mydomaink.com/a/123/group/4
mydomaink.com/a/xyz/network/google/group/1

我不想让它们出现在Google上。

Answer 1

您的robots.txt看起来是正确的。如果您想100％确定，可以test in in your Google's Webmaster Tools account。

仅供参考，阻止robots.txt中的网页不保证它们不会显示在搜索结果中。它只会阻止搜索引擎抓取这些页面。如果他们愿意，他们仍然可以列出他们。要防止对页面编制索引并列出，您需要使用x-robots-tag HTTP标头。

如果您使用Apache，您可以使用以下行在/a/目录中放置一个文件，以有效地阻止这些页面：

<IfModule mod_headers.c>
    Header set X-Robots-Tag: "noindex"
</IfModule>