Question

我用apache日志监控我的网站，我看到了一些奇怪的请求，请参阅：

51.255.65.74 - - [28/May/2016:11:48:02 -0300] "GET /insert/xahanave.html HTTP/1.1" 404 1035 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.1; +http://ahrefs.com/robot/)"
207.46.13.128 - - [28/May/2016:11:49:13 -0300] "GET / HTTP/1.1" 200 14188 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
66.249.64.87 - - [28/May/2016:11:49:32 -0300] "GET /css/kin8tengoku-1144-may.html HTTP/1.1" 404 1039 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

好吧，我的FTP没有文件夹＆＃34; / insert / xanahave＆＃34;，这两个文件＆＃39; kin8tengoku＆＃39;在文件夹css中。是否可以向非存在文件/文件夹发出请求？

重要提示：前几天我的网站被黑了，并且插入了＃34;文件夹是在FTP中未经许可创建的，但现在一切都很干净，文件夹＆＃34;插入＆＃34;不再存在了。我的重要问题是，为什么要继续请求此文件夹？

Answer 1

因为这些文件是由Ahrefs，Bing搜索引擎和Google搜索引擎在他们启动时选择的，他们会定期重新检查文件以查看是否有任何更改。这就是Google等在您的网站上提供最新信息的方式。

您可以看到这些公司是从用户代理发送的（在每行末尾）。现在一些更邪恶的机器人，有时候假装是GoogleBot，但这些IP地址的快速谷歌显示这些是合法的。

正如您所看到的，您的服务器正确响应404（页面未找到状态），并且如果没有指向它们的链接，那么这些公司最终将获取提示并从索引中删除它们并停止请求它们。可能需要一两个月。如果404因为您意外删除了页面或类似内容而导致错误，则他们不会立即执行此操作。

Apache Log中的奇怪GET请求

1 个答案: