Question

我写道，一个非常强大的保护类“BlockIp”，可以使用带有IP的黑名单，可以检测奇怪的IP配置，也可以阻止代理。

当找到一个时，我会收到一封关于访客的详细电子邮件，为什么会被阻止以及他们想要做什么（当然每天一次）。它似乎运作得很好，因为我过去收到了一些被这个类阻止的真正攻击。它不会阻止合法机器人，但测试检测方法是否正确并不容易。

今天我收到了一封来自该课程的电子邮件，其中已封锁“ crawl-6-249-76-64.googlebot.com ”，该电子邮件标识为Google机器人。我在网上搜索是否被列入黑名单，但没有发现它被列入黑名单。我发现在谷歌搜索“66.249.76.64”时，许多站点都列出了IP。

我收到了班上的两封错误电子邮件。第一个是“bot”尝试访问“robots.txt”，第二个是尝试访问站点的根目录。

我的问题是：这是Google机器人吗？（如果是，那么检测有问题，我必须解决这个问题）。未在Google的IP范围内找到IP：http://chceme.info/ips/

这里有关于机器人的一些信息：

Ticket ID : {EVNT_117162_2013011220130110_32925_19904}
Event type : Access blocked
Event date : 01/12/2013 - 03:53:01 (server date-time)
Event counter : First occurring
Processed url : mysite/robots.txt
From url : Unknown or direct link
Domain : mysite
Domain IP : 000.000.000.000
Visitor IP : 66.249.76.64
Proxy IP : (not present)



Problem : Potential danger detected - 66.249.76.64
Hostname : crawl-66-249-76-64.googlebot.com
Block : Yes
Refferer : (direct access)
AgentString : Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Browser : Mozilla 5.0
Platform : Unknown Platform
Robot : Yes - Googlebot
Mobile : No
Tablet : No
Console : No
Crawler : Yes
Agent_type : crawler
Agent_name : googlebot
Agent_version : 2.1
Os_type : unknown
Os_name : unknown
Agent_languagetag : en
Status : ok
Request : 66.249.76.64
Languagecode : us
Country : United States
Region : California
City : Mountain View
Zipcode : 94043
Latitude : 37.3861
Longitude : -122.084
Timezone : -08:00
Areacode : 650
Dmacode : 807
Continentcode : na
Regioncode : ca
Currencycode : USD
Currencysymbol : &#36;
Currencysymbol_utf8 : $
Currencyconverter : 1
Extended : 1

Answer 1

首先，是的，这是谷歌。您可以按照此处的说明验证Google Bot：https://support.google.com/webmasters/bin/answer.py?hl=en&answer=80553
顺便说一下：“第一个是当”僵尸“试图访问”robots.txt“时，应该总是允许机器人访问/robots.txt

ip blocker类阻止“crawl-66-249-76-64.googlebot.com”，这是正确的吗？

1 个答案: