谷歌为什么在限制后停止爬行

Question

我已经提交了1-2个月的站点地图。谷歌开始快速爬行几天，索引约25％的页面，然后突然停止，不再爬行。

我为新抓取的网页创建了Google快讯。我每天都会收到某些页面被抓取的警报（只有新页面）。

Robots.txt的设置为“全部允许”

以下是截图，正如您在开始曲线中看到的那样陡峭，但随后它变得停滞不前。

Answer 1

这个问题的正式答案可以在这里找到：https://support.google.com/webmasters/answer/34441

就我个人而言，我曾经历过这一次，它可以追溯到（有时）网络服务器响应时间缓慢，之后谷歌决定不再进一步放慢网站速度，因此只抓取新数据。

此外，谷歌可能会抓取所有内容，但会将其他75％的网页视为重复内容并从现在开始忽略它们（您应该可以在网站管理员工具中看到这一点）=＆gt;您是否可以查看访问日志以查看Google是否可以抓取更多页面？