Google抓取工具时间限制

Question

是否有人知道可以设置任何属性以通知googlebot在特定日期或时间段内（例如仅在周末期间）来访问网站？

感谢，

Answer 1

您可以使用XML sitemap提供有关适当抓取频率的提示，但这只是一个提示，并且无法请求特定的日期。

Answer 2

你可以建议谷歌机器人你喜欢较慢的抓取速度（如果你的网站被抓取的速度比最低速度快），但这会在90天内生效（参见 http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=48620）。 / p>

更改robots.txt可能会有问题，因为Google会对其进行缓存，因此禁止抓取可能会导致网站被抓取的时间远远超过预期。

Google拥有多种机器人类型，因此您可以根据预期使用robots.txt，选择网站的哪些部分适合每个网站进行抓取。请参阅 http://www.google.com/support/webmasters/bin/answer.py?answer=40360。

Answer 3

不要这么认为，但是googlebot会经常重新读取你的robots.txt，所以我想知道如果你在那些时候交换了另一个robots.txt，它是否会起作用，例如用脚本？