如何阻止搜索引擎索引维护页面

Question

我需要为我正在运行的网站设置维护页面，例如当我正在执行网站维护（计划停机时间）或者某些事情确实中断并且我需要建立一个保留页面时显示。

我需要做些什么特别的工作才能确保搜索引擎抓取工具不会将其编入索引并认为它是我的网站。或者我应该做404，添加临时robots.txt文件或什么？我基本上不希望他们将其编入索引作为我的网站，但我也不希望他们认为我的网站已经死了而且没有回来。

编辑：以下是我在Apache中所做的：ErrorDocument 503 /.server-maintenance.html RewriteEngine On RewriteRule！^。server-maintenance.html / server-maintenance Redirect 503 / server-maintenance < strong>强文

Answer 1

您应该发送 503 Service Unavailable HTTP状态代码，而不是 404 。将此项与 Retry-After 标题结合使用可告诉机器人什么时候回来。

Answer 2

您可以使用robots.txt

http://www.robotstxt.org/

此外，谷歌的网站管理员工具中也有验证器。

https://www.google.com/webmasters/tools/

Answer 3

返回503 Service Unavailable告诉Google机器人稍后再回来。有一个Google support page描述了HTTP错误代码以及它们如何解释它们。

您还可以使用Retry-After response header建议重新检查网站可用性的最短时间。

Answer 4

另一种方法是不将维护页面与您网站（或任何其他网站）上的任何其他页面链接。