如何设置robots.txt，允许除主页之外的所有页面？

Question

如果我有一个名为http://example.com的网站，并且在其下面我有文章，例如： http://example.com/articles/norwegian-statoil-ceo-resigns

基本上，我不希望首页上的文字显示在Google搜索结果上，因此当您搜索“statoil ceo”时，您只能获取文章本身，而不是包含此文本的首页但不是文章本身。

Answer 1

如果您这样做，那么Google仍然可以显示您的主页，其中包含链接下的说明，说明他们无法抓取该页面。这是因为robots.txt不会阻止正在编制索引的页面。您无法对主页进行索引，但我个人并不推荐它。