如何阻止facebook抓取工具导致高CPU使用率

Question

您好我最近在Apache CPU使用率，A​​pache内存使用率和MySQL内存使用率方面获得了超高峰。事实证明，爬虫正以非常激进的速度访问我的网站，特别是Facebook。我试图将facebook抓取工具的抓取延迟添加到robot.txt文件中，如下所示：

User-agent: Facebot
Disallow:
Crawl-delay: 5

但我仍然看到高使用率峰值。这是由于代码不正确还是有更好的方法来完全停止使用我的服务器资源的爬虫？

非常感谢任何帮助。

Answer 1

将路径更改为

 Disallow: /

请参阅Robots FAQ