阻止搜索引擎索引网页

Question

我有一个成员控制面板页面，我不希望搜索引擎索引。

我做了以下事情：

1. 如果没有提供会话或密码，页面是安全的，然后将用户引导至主页面。将用户重定向如下：

   标题（“位置：主页”）;
   出口（）;

2. 我只放了一个具有以下属性的元

  

name =“robots”content =“noindex，nofollow”

此解决方案是否足够好？

Answer 1

如果页面受到保护，则无法对其内容编制索引。即使它的内容评级很低。

如何重定向用户？使用响应头或HTML元重定向/ JavaScript？

Answer 2

元数据无关紧要，如果页面将任何未识别的用户重定向到其他页面，则重定向URL将永远不会被编入索引。

Answer 3

您可以使用robots.txt获取更多信息，请参阅http://www.google.com/support/webmasters/bin/answer.py?answer=156449

Answer 4

大多数搜索引擎机器人（所有合法的机器人）都会尊重此指令。但是，您所做的一切就是让机器人很好地不要将您的页面编入索引。它不会强制任何形式的行为，只是要求它。

你可以......

• 要求auth查看页面。机器人将不会通过身份验证，因此无法查看要对其编制索引的页面。
• 向404字符串位于已知搜索引擎漫游器列表中的任何请求返回User-Agent:错误。有很多站点（例如this one）可以很容易地编译这样的列表。