你如何从搜索引擎隐藏部分网站

Question

我注意到Pinterest和其他一些网站允许用户选择是否不希望他们的名字被搜索引擎索引。我想在我们的网站上做类似的事情。基本上我想让用户在有人在Google /等上搜索他们的名字时，不会显示他们在留言板上的评论。

不确定它是否相关，但我们正在使用Ruby on Rails。

谢谢，

Answer 1

在服务器的根目录中使用robots.txt告诉机器人是否为您的网站编制索引。 http://www.robotstxt.org

如果您只想隐藏网站的一部分内容，可以使用googleon和googleoff代码，请按以下步骤操作：http://perishablepress.com/tell-google-to-not-index-certain-parts-of-your-page/

还记得robots.txt只是机器人的指南。它实际上不允许他们或任何人进入您的网站。

Answer 2

没有标准方法告诉搜索引擎页面应该只被部分索引。您可以禁止为noindex - meta元素或HTTP标头robots）或抓取（X-Robots-Tag文件中的Disallow）编制索引（robots.txt值）一个整个页面，但不是特定部分 一个例外是从外部源中包含的内容，该外部源本身被阻止爬行（例如，iframe元素）。

当然你可以使用一些“黑客”，例如利用不能（或不想）索引某些元素或用JavaScript插入的内容的搜索引擎。但这可能在任何时候都会破裂。搜索引擎会变得更好，并可能在将来开始索引这些内容。

可能的解决方案（但没有没有权衡）：

• 权限系统：使这些特定用户的帖子只对注册用户可读，因此搜索引擎根本看不到它们。权衡：如果用户（不禁止索引其内容/名称）引用此类限制帖子的文本，则会再次出现在搜索索引中。

• 当这样的特定用户在那里发布时，禁止索引整个页面。权衡：此线程没有搜索引擎结果

• 匿名化这些特定用户的名称。权衡：社区可能会遭受损失。

一般来说，我会尽量避免实现这样的功能（或至少不依赖它）。 要么它是公共董事会，或它是私人董事会。如果需要，我只允许它用于线程启动器。当用户创建新线程时，他可以选择它是私有线程还是公共线程。如果它是私有线程，整个页面将获得noindex（或更好：权限限制）。所有其他用户都会收到通知是否在私人或公共线程上发布。因此，如果有人想要保持“私密”，他只会在私人帖子中发帖。