只说“Mozilla / 4.0”的用户代理是机器人，对吗？

Question

我在Web应用程序中收到了几个请求，这些请求在我的代码不应该生成的方式上基本上是错误的... 主要是它没有指定任何GET参数的.ashx请求。

用户代理是“Mozilla / 4.0”（仅此而已） 知识产权每天都在变化。

这是一个机器人，对吧？

谢谢！

Answer 1

很抱歉碰到旧问题，但我认为这是中国防火墙使用的机器人。 他们抓取网页内容，并进行审查。

检查您的日志，看看是否有类似＆＃39; GET /cert/bazs.cert'。

100％确定是否找到了。

Answer 2

这对我来说似乎很奇怪。任何合法的机器人都会以您能识别的方式识别自己。任何恶意机器人都能够做得更好，使用户代理看起来像普通的浏览器。这是在中间的某个地方。结合不好的要求，这让我相信你正在处理普通的无能。

无论哪种方式，您可能希望404这些请求而不是返回黄屏错误。

Answer 3

根据http://www.user-agents.org'雅虎心态：意图驱动搜索'机器人报告此事。

但是，它不是浏览器报告的。

Answer 4

这些请求是您自己编写的现有页面，还是获得404？

在后一种情况下，它可能是某种扫描攻击，试图在使用漏洞攻击它们之前检测易受攻击的应用程序实例。

Answer 5

我在几个网站上实现了asp.net端请求跟踪，通过查看记录，我可以说只有用户代理“Mozilla / 4.0”可以通过以下任何原因生成：

• 无能
• 搜索机器人
• 攻击机器人

有趣的是，我的第一个Android被识别为“Safari 3.0”，最新的Android被识别为“Mozilla 0”！因此，很难将无能力指向特定的软件生成。

对每个此类请求返回404可能不是搜索机器人的最佳方法，特别是如果这是经常更改内容的公共网站。

另一方面，您应该知道，目标无效的WebResource.axd请求指向跨站点脚本攻击。在这种情况下，建议使用SanitizerProvider。您可以在Cross-site_scripting上阅读有关此类攻击的更多信息。

识别攻击的另一个好处是查看IIS日志文件，这些文件通常位于[system root]上：\ inetpub \ logs \ LogFiles \ W3SVC1。这是我的解析IIS日志文件的工具的snipp：

在这种情况下，用户代理不是问题，通过从2个不同的IP请求“/dbadmin/index.php”来识别机器人攻击。攻击机器人正在寻找几个文件/页面。

希望这有助于为这个问题带来额外的价值。