为什么Yahoo Indexing Bot被认为是“邪恶的”？

Question

在阅读并评论此问题PHP Library for Keeping your site index by Google, Bing, etc后，我很想看看StackOverFlow的sitemap。这返回了一个404错误，我猜测它只是一个受保护的页面，通过确定你是一个索引机器人还是根本不存在。

然后引导我查看StackOverFlow的robots.txt。我很惊讶地看到评论“Yahoo bot is evil”以及其他一些Indexing机器人（Spinn3r和KSCrawler）。我对Spinn3r和KSCrawler不感兴趣，但我的问题是，为什么这些机器人（特别是雅虎）被认为是邪恶的？当然任何搜索引擎的索引都是好事吗？

Answer 1

这些非常积极的机器人不会限制请求并且可能会导致网站崩溃。

有关yahoo bot的示例，请参阅this论坛帖子。