IP地址和机器人/垃圾邮件流量检测

Question

我正在尝试使用会话ips列表检测应用程序的bot流量。

简单的解决方案是找到相同ips的出现，如果这些超过阈值，我们可以说该流量来自机器人。

我让自己思考并做了一些研究并且质疑：

来自单个IP的流量是否来自隐藏在子网或代理后面的多个用户？在哪种情况下绝对不是机器人？

（我也不太明白子网或代理是如何工作的，所以要温和。）

Answer 1

不仅仅是访问IP，而且可以从同一IP获取不同的访问者（特别是如果访问者使用拨号连接）

我抓住机器人的方式是从明显到可能的消除过程

• 如果userAgent为空
• 如果userAgent很短或不具描述性
• 如果userAgent包含一些明显的签名或流氓机器人我 不想访问我的网站
• 如果访问者的平均综合浏览量停留在页面上的时间少于3秒 机器人

在这种情况下我会反弹命中

然后不那么明显

我记录每次访问的ip，timestamp和userAgent，持续30分钟。并比较每次新访问池。

• 如果IP访问网站太快，很可能是机器人
• 如果IP使用不同的userAgent访问该站点可能是一个 机器人

在这种情况下我预设验证码