GoogleBot超时前多久？

Question

背景

我目前正在使用Google的＃！ - 方法通过代理和PhantomJS的组合为动态网站设置SEO索引。我们的网络应用程序不仅托管我们自己的应用程序，还托管由第三方提供的任意数量的应用程序。由于我无法控制这些应用程序（以及它们的加载时间），因此在处理GoogleBot查询时，我现在面临两个选择：

1. 缓存生成的HTML并将缓存的响应返回给GoogleBot。刷新每个GoogleBot请求的缓存，但返回陈旧的响应
2. 使用基于时间的缓存机制。到期时，GoogleBot会收到新生成的回复

显然我更愿意选择（2），但我担心GoogleBot会在阅读抓取的HTML之前超时。

问题

GoogleBot请求超时前多久？

Answer 1

简短回答

Google会在响应时间较慢的情况下对网页进行处罚，因此最好在Google收到内容之前主动生成和缓存内容。

答案很长

正如@ArtjomB在评论部分所指出的那样，（2）将永远不会成为一种选择，因为Google会对响应时间较长的网页进行处罚。 （1）仅在非时间敏感的索引信息时才是一个选项。

更好的选择是未说明的第三种选择：在任何GoogleBot提取之前主动重新索引和缓存内容的cron-job，尽管这显然需要付出代价，因为X％的重新索引可能最终永远不会出现由GoogleBot提取。