如何在网站上阻止Watir ruby​​ gem活动？

Question

我是网站管理员，我正在尝试控制浏览器操作的Watir ruby​​ gem。

我知道很多开发人员都使用Watir进行测试，但我也看到使用Watir来搜索网站上的内容。

我不知道作为网站管理员，我可以检测到这种用法吗？我还可以检测到刮板正在使用Watir吗？

另外我怎么能停止Watir？

Answer 1

我不确定您是否可以检测到访问您网站的浏览器后面是否有人工或Watir脚本。 Watir驱动真正的浏览器，因此用户代理进行过滤无济于事。

如果您有一个允许您实时监控流量的工具，您可以通过大量流量检测到同一IP的屏幕抓取。然后，您可以（暂时）阻止IP。

此刻我无法想到阻止屏幕抓取的任何其他方法。像robots.txt这样的文件只是一种约定，脚本可以忽略它。

Answer 2

如果您监视该用户的使用情况，您可能会检测到是否有人刮擦您的网站 - 如果用户执行速度非常快，则可能是机器人。

然而，您无法检测刮刀是否使用Watir或任何其他刮削工具。