Question

当请求到达我的java servlet时，我正在检查其UserAgent：

protected void service(HttpServletRequest request, HttpServletResponse response){
    final String UA = request.getHeader("User-Agent");
    eu.bitwalker.useragentutils.Browser browser = UserAgent.parseUserAgentString(UA).getBrowser();}

大多数请求都有UA（用户代理），其中包含信息，例如Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36。
有些请求（约10％）只有Mozilla/5.0或Mozilla/4.0。

这是否意味着他们是机器人？ servlet之前是否有可能删除UA中的相关部分？

我正在使用HaraldWalker User Agent Utils来识别UA，并为这些UA返回Mozilla。
但是此online tool会返回unknown。

有人可以解释一下吗？

Answer 1

很可能这些是某种机器人，因为任何主流浏览器都不使用该用户代理。

值得您过滤日志以仅提取这些条目，并检查它们是否遵循任何类似的类似bot的模式。例如，您可能会看到：

每X秒一次请求
他们都发生在一天的特定时间
这些都是在很短的时间内发生的
他们按字母顺序请求网址
所有请求都来自单个IP地址或有限的IP范围

使用用户代理获取许多请求[Mozilla / 5.0]

1 个答案: