在PHP中跟踪和测试滥用客户端

Question

现在有一个主题可以采取多种方式。希望在我描述我的问题并开始获得建议时，我将能够对其进行去混淆。

我正在开发一个将替换现有网站的网站。从历史上看，我们遇到的一个问题是蜘蛛机器人进来并榨取所有内容。现在我们不介意正在下载内容。事实上，我们很高兴，但是有些批量下载器和下载加速器在当前网站上已经证明是有问题的。

我正在寻找的东西是我的PHP开头的东西，它首先运行。它需要页面请求的指纹（ip，referrer，请求uri，cookie，会话ID，等等）并将其传递给......某事。然后，在最后一秒或三秒内将指纹与指纹进行比较。然后，它会根据一些预先配置的阈值返回一条消息，该消息如何处理请求。

一些阈值是：

• 用户已请求＆gt;最后0.n秒内的x页。
• 用户在＆lt;中请求了相同的页面。 0.n秒。
• 用户已在最近n秒内向表单提交了相同的数据。

所以你看我正在看一些非常紧凑的窗户。检测到这样的事情是否可行？我能用某种文件或db数据源来做吗？无论我用什么来存储页面加载之间的指纹，都会经历大量的流失，因为大多数数据将被保留一两秒钟。我应该只是解析apache日志以检查阈值吗？我是否应该寻找某种外部守护进程来保存内存中可以从脚本调用的内存中的第二个或第二个数据？ apache中是否有可以处理此问题的东西，我只需要向服务器人员解决这个问题吗？

假设我可以在PHP或某些名为外部守护程序中执行此操作，如何响应超出阈值的行为？我的直觉说HTTP响应，比如408或503，但我的直觉常常是错误的。我该怎么做才能告诉客户稍微退后一步？某种“Woah there”页面？

Answer 1

如果您没有拥有拥有软件解决方案，为什么不编程您的路由器/防火墙来为您处理此问题？过滤DOS攻击（或其等效物）是它的一部分。

Answer 2

尝试mod_evasive

Answer 3

尝试PEAR::HTTP_Floodcontrol和mod_security以及fail2ban。