为什么我在robots.txt中阻止一个目录，它的内容仍然会出现？

Question

这就是我在我的robots.txt中所拥有的，当然放在基本目录中：

User-Agent: *
Disallow: /foo/

但是，在Google中，我没有/foo/的索引，但出于某种原因，我仍然会将/foo/foo.php显示为Google中的链接。

为什么？我写错了什么吗？我需要写别的吗？

Answer 1

当您在网站上线后放置robots.txt时，Google可能已经将文件编入/foo/下的索引。

您可以通过Google Webmaster Tools - 删除请求删除已编入索引的文件。

Answer 2

robots.txt不会阻止Google 将链接到您阻止的网页。 Google不会索引您的被阻止的网页（因此它不会显示网页标题/说明/摘要），但如果找到任何被阻止网页的链接，它仍可能会将其与搜索结果相关联结果

如果您还想禁止此关联，可以将meta元素与robots和noindex一起使用。