用于ASP.NET的恶意爬虫程序员

Question

我刚刚偶然发现了Bad Behavior - 一个PHP插件，承诺通过阻止垃圾邮件和恶意抓取工具访问该网站来检测它们。

ASP.NET和ASP.NET MVC是否存在类似的东西？

我对阻止访问该网站感兴趣，而不是在发布后检测垃圾邮件。

编辑：我特别感兴趣的是能够检测网站访问模式的解决方案 - 这些会阻止整个网站的屏幕抓取，或者至少使其成为一个非常缓慢的进程，因为机器人必须采取行动作为点击频率的常规用户和点击中找到的模式（深度优先连续访问的100个链接清楚地表明某人正在抓取该网站）。

恶意抓取工具我的意思是主要是机器人正在构建其他网站的副本，但也是垃圾邮件，它们试图在网站上找到一些可提交的表单并提交他们的垃圾。

Answer 1

如果我理解正确的话，ASP.NET AJAX Toolkit中的NoBot控件可能会有所帮助。从描述页面：

  

NoBot是一种控件，它试图在不需要任何用户交互的情况下提供类似CAPTCHA的僵尸/垃圾邮件防范。这种方法比需要实际人为干预的实现更容易绕过，但NoBot具有完全不可见的好处。

我自己没有使用过这个，所以我不能说它对抗复杂机器人的效果，但听起来它就像你正在谈论的那样。它具有非常简单的好处;本质上是一个可以添加到母版页的插件。

Answer 2

我不确定这是否值得付出努力（以及真实用户的假阳性！）。将随机延迟添加到iMacros或Perl脚本是每个机器人程序员都知道的“技巧”。

相反，我要么需要登录或显示验证码。