我的网站每天都会多次出现503 Service Unavailable错误。有时它会为特定请求提供请求时间限制。
我的网站没有大量的流量来忙碌。
跟踪错误日志显示许多错误请求有时为503或500.几个月前它不像它。没有对网站的代码/设置/设计进行任何更改。
我发现一些跟踪到+ Ahrefsbot和Googlebot网络抓取工具的日志，所以我怀疑它抓取我网站的速度太快了。我不能阻止他们进入不同的IP地址。
请帮忙
我的网站是在networksolutions下托管的，所以我无法进行任何修改或分析我网站背后的内容（服务器端）
答案 0 :(得分：0)
如果您确定它的抓取工具会导致您的问题，您可以尝试使用/robots.txt文件。
你可以learn more about it here，但要阻止它们完全使用它：
User-agent: *
Disallow: /
您可以通过Google网站管理员工具adjust Google's crawl rate。 现有答案here在与谷歌机器人打交道时应该有所帮助。
那就是说，老实说，我怀疑它的机器人造成的流量高峰足以让你脱机。尝试分析您的日志以查看实际原因。也许你使用的内存比主机允许的多。