如何从搜索引擎中完全隐藏网站？

Question

什么是最好的推荐方式你从搜索引擎隐藏我的暂存网站，我用Google搜索并发现有人说我应该放一个元标记，有些人说我应该在我的网站目录中放一个文本文件，我想知道标准方式。

我目前的网站是在asp.net，而我相信无论其编程语言如何，它都必须是任何网站的常用方式。

Answer 1

使用robots.txt文件。

见http://www.robotstxt.org/robotstxt.html

Answer 2

您也可以使用服务器robots.txt：

User-agent: *
Disallow: /

Google的抓取工具实际上尊重这些设置。

Answer 3

真的很容易回答;密码保护它。如果它是一个临时站点，那么它很可能不是公开面对的（最有可能是私人受众）。试图将其排除在搜索引擎之外只是在真正的问题是你没有适当地保护它时才处理一个症状。

Answer 4

请注意，您无法从搜索引擎隐藏面向公众的未受保护的网站。您可以要求机器人不对其进行索引（通过我的优秀同事提出的robots.txt），编写机器人的人可能会选择不根据此编制索引，但必须至少有一个人在那里谁索引所有人们要求他不要索引的东西。至少一个。

如果这是一个很大的要求，保持自动抓取工具，某种CAPCHA解决方案可能适合您。

Answer 5

http://www.robotstxt.org/robotstxt.html

Answer 6

有搜索引擎/书籍标记服务不使用robots.txt。如果你真的不想让它出现，我建议使用capcha只是导航到网站。

Answer 7

最好的推荐方式是从搜索引擎隐藏我的暂存网站

简单：不要公开。如果这不起作用，那么只要将其公开足够长时间以确认它已准备好发布，然后将其删除。

然而，所有这一切，一个更基本的问题是，“为什么要关心？”。如果临时站点真的应该是实时站点，那么在推送之前一步，那么它是否被编入索引并不重要。