告诉搜索引擎机器人等待

Question

短篇小说：
我的网站预先根据用户提交的数据生成页面，有时这个缓存必须被清除，否则它会杀死super computer，除非我控制了一次生成的统计数据量。

问题：
现在，搜索引擎机器人不断地访问该网站（由于页面数量庞大，搜索引擎机器人爬行的相当常数）。这里的问题是他们将耗尽我所有的“生成”插槽，真正的用户将留下一个页面说“bla bla，please wait”。

可行的解决方案：
我可以基本上将503返回到机器人，而不会让他们因为网站不稳定而给我负面排名吗？ 或者是否有人提出了其他解决方案？

Answer 1

立即清除缓存有多重要？如果您的缓存支持它，您可以将所有缓存的页面标记为“脏”，并在真实用户下次访问时重新生成它们;如果机器人在此期间访问，请为他们提供过时的页面。