当我看到一些IP在我的网站上看到数百个页面时，它意味着什么？

Question

当我在我的日志中看到一些IP滚动浏览我网站上的100页时，我该怎么办？我有一个wordpress博客，看起来这不是一个真实的人。这种情况几乎每天都会发生在不同的IP上。

更新：哦，我忘了提，我很确定它不是搜索引擎蜘蛛。主机名不是searchengine，而是来自印度的一些随机人（以'.in'结尾）。 我关心的是，如果它是一个刮刀，我能做些什么吗？或者它可能是比刮刀更糟糕的东西，例如黑客？

Answer 1

这是一个蜘蛛/爬虫。搜索引擎使用这些来编译他们的列表，研究人员使用它们来计算互联网的结构，互联网档案馆使用它们为后代下载互联网的内容，垃圾邮件制造者使用它们来搜索电子邮件地址，以及许多更多这样的情况。

检查日志中的用户代理字符串可能会为您提供有关他们正在执行的操作的更多信息。表现良好的机器人通常会指出他们是谁/什么 - 例如，Google的搜索机器人称为Googlebot。

Answer 2

如果您担心脚本小子，我建议您检查错误日志。脚本经常寻找你可能没有的东西;例如在我运行的一个系统上，我没有ASP，但是，我可以判断脚本小子是否已经探测过网站，因为我看到很多尝试在我的错误日志中找到ASP页面。

Answer 3

可能是某些脚本小子希望利用您博客（或服务器）中的漏洞利用。那个，或者一些网络爬虫。

Answer 4

这可能是一个蜘蛛机器人索引您的网站。 “用户代理”可能会放弃它。如果不是所有博客页面都包含css，js和图像等内容，则可以轻松地为动态生成的Wordpress站点提供100个GET请求。