如何在谷歌索引时阻止URL？

Question

我有一个开发服务器，我放置了100个网站（文件夹），但我指向每个文件夹与另一个域，但我仍然可以使用服务器IP或域访问该文件夹吗？如何停止索引由服务器的IP或域打开的URL？

例如：

服务器是：myserver.com 网站（文件夹）：mywebsite

我可以像myserver.com/mywebsite

那样访问它

我有另一个名为newwebsite.com的域名并指向mywebsite文件夹中存在的mywebsite文件夹然后我可以使用newwebsite.com访问同一文件夹，我需要停止索引 myserver.com/mywebsite ..任何人都可以帮助我吗？提前谢谢。

Answer 1

在您添加到Google存储库的每个网站中，您都可以添加名为Robots.txt的文件。此文件包含有关以下内容的所有规则：

1. 将索引和跟踪哪些网页和网址。
2. 哪些网址拒绝抓取工具作为隐藏点访问。
3. 您可以在此documentation中阅读所有其他规则。

例如，您可以阻止每个域（或子域）中您喜爱的网址，如下所示：

User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html

不记得robots.txt文件必须放在每个网站的根目录中以供抓取工具检测。 此致