Question

我有一个运行Nginx的VPS，目前仅提供静态内容。

一旦我查看了日志并注意到一些奇怪的请求：

216.244.66.239 - - [03/Jan/2019:15:04:26 +0100] "GET /en/profile/Souxy HTTP/1.1" 200 4650 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"
216.244.66.239 - - [03/Jan/2019:15:04:28 +0100] "GET /en/view/8gIi2vad8Y HTTP/1.1" 200 4650 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"

Answer 1

这是爬虫。在此链接上的描述词https://moz.com/help/moz-procedures/crawlers/dotbot。也许它正在索引您的网站。

您可以在防火墙上阻止此请求，也可以添加包含内容的文件robots.txt

User-agent: dotbot
Disallow: /

对Web服务器的奇怪请求

1 个答案: