我正在考虑是否应该为我的“抱歉服务器”提供以下ItemDetail，该服务器会向我们的客户返回一些遗憾的消息，告知我们正在维护。
robots.txt所以这是我的疑虑/问题：
尽管我们的服务器在维护完成后已经准备就绪，它是否会告诉抓取工具不要永久索引我们的网站？
如果我将User-agent: *
Disallow: /
放在对不起的服务器上，我是否应该为我们的常规服务器添加另一个robots.txt，告诉抓取工具“请为我们的网站编制索引”？
[编辑]说到极端，它会不会从谷歌删除我们的网站？
答案 0 :(得分：1)
在这种情况下，您不应该使用robots.txt。
在您处于维护模式时获取robots.txt的机器人可能会在您的网站重新联机时缓存它并应用其规则（使用此机器人将在一段时间内看不到的已更改的robots.txt） 。如果您的网站处于维护模式，那么在您的网站联机时获取robots.txt的机器人也可以应用其规则。
相反，您应该为维护模式提供适当的HTTP标头： 503服务不可用。仅此信号应该足够（至少对于有些能力的机器人而言）不要对页面进行索引。
此外，您可以提供meta - robots元素，其值为noindex，或相应的HTTP标头X-Robots-Tag（see example）。< / p>