识别访问网站中隐藏链接的用户

Question

最近我在网站上放了一些隐藏的链接，以便捕获网页抓取工具。 （使用CSS可见性隐藏样式以避免人类用户访问它。）

无论如何，我发现有大量的HTTP请求引用了访问隐藏链接的浏览器。

E.g : "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"

所以现在我的问题是：

（1）这些网络抓取工具？或者可能是什么？

（2）他们是恶意的吗？

（3）有没有办法描述他们的行为？

我在网上搜索但找不到任何有价值的信息。能否请您提供一些资源，或者任何帮助将不胜感激。

Answer 1

这是一个HTTP user代理。它们根本不是恶意的。它遵循模式，例如Mozilla/<version>，依此类推。例如，浏览器是用户代理。但是，它们可以被攻击者使用，这可以通过查看异常来识别。您可以阅读此paper.

  

超文本传输​​协议（HTTP）标识客户端软件   发起请求，使用＆＃34; User-Agent＆＃34;标题，即使是   客户不是由用户操作的。

您的问题的答案依次为：

1. 他们不是网络抓取工具。他们是用户代理。 Web开发人员的常用术语。
2. 一般来说，他们并不是恶意的，但正如我建议的那样，他们可以查看论文。
3. 我不明白你的行为分析是什么意思，他们不是恶意软件！