Question

我在hostgator上有托管设置，它在主站点的子目录中创建了插件域。所以结构是

public_html
    - main_site
        - main_site_folders
        - addon_site1
        - addon_site2

等等。如果我不允许来自主站点robots.txt的addon_site1和addon_site2，它会阻止搜索引擎索引插件网站吗？我无法找到对此的直接答案，如果有人可以向我指出一个没有含糊不清的解释这个概念的文档，我们将不胜感激。

Answer 1

如果您屏蔽/main_site/addon_site，则机器人不会转到www.main_site.com/addon_site。但是，这不会阻止他们直接转到www.addon_site.com。

如果您想阻止它们对www.addon_site.com编制索引，则需要在addon_site文件夹中放置robots.txt文件：

User-agent: *
Disallow: /

你需要在你的问题中澄清你想要做什么。

Answer 2

是：

Disallow: /main_site/addon_site1
Disallow: /main_site/addon_site2

...假设robots.txt位于您的public_html目录中。

如果您的网站根目录位于/ public_html / main_site（例如：http://example.com/指向/ public_html / main_site），则您将robots.txt放入/ public_html / main_site中，其中包含以下内容：

Disallow: /addon_site1
Disallow: /addon_site2