搜索蜘蛛崩溃阿帕奇

Question

我的网络服务器经常崩溃，我注意到它总是在此错误日志条目之后发生：

[Sun Jun 22 00:41:41 2014] [error] [client 207.46.13.71] File does not exist: C:/*directory*/robots.txt

我知道这个IP属于Bing蜘蛛。根据我的理解，在未找到robots.txt的实例时，Bing将尝试索引我的网站。我相信，当它试图索引我的网站时，会发生导致崩溃的问题。

我的问题是我无法重新创建或找到问题。我的访问日志似乎没有显示Bing正在尝试索引哪些文件，或者哪些脚本导致服务器崩溃。我通过将无效或无信息传递给某些脚本在黑暗中进行了一些刺伤，但到目前为止我还没有找到任何破碎的东西。

有人可以向我解释一下，在尝试查找导致我的网络服务器崩溃的脚本时，我可能会遇到哪些其他选项？

我在Windows机器上使用XAMPP运行Apache / 2.2.17。

Answer 1

由于您没有robots.txt，您基本上可以告诉Bingbot，您可以尽可能快地抓取您的网站。类似的东西：

User-agent: bingbot
Disallow:
Crawl-delay: 10

将帮助您理解失败的原因。没有robots.txt，因为它听起来像是一个bandaid＆＃39;我认为这是错误的做法。