我刚换过服务器;从共享主机到EC2，并且已经看到了更好的性能。我猜谷歌也注意到这一点并提高了爬行率，不幸的是，对我来说它目前太高了，我无法在我的网站上处理它。我怎么能把它关掉？我做了一些阅读，人们说你可以在Google网站站长工具中执行此操作，但是您切换抓取速度设置的区域会显示以下消息：“您的网站已分配了特殊抓取速率设置。您将无法更改抓取速度。“
我依靠Google获得了大部分流量，因此我不想通过robots.txt阻止它们。我只是想让它们慢慢扼杀。有没有办法通过robots.txt或其他方法来做到这一点？