Question

*的 编辑： 此问题的解决方案低于此问题，因为无法发布答案。人们决定关闭这个问题。 *

最近我发现谷歌代理的一些变种访问我的网站。我怀疑这些是合法的谷歌抓取工具，因为这些抓取工具并不总是在代理后面（如主机名描述），并将自己标识为浏览器。主机名的格式与google bot类似，但添加了字符串'proxy'。

我的PHP阻止类会阻止这些抓取工具，但阻止这些抓取工具是否正确？他们是什么，这些来自谷歌还是假的？

这里有一些关于其中一个抓取工具的信息：

BlockedIp Notifier Report - IP:66.249.81.131:: has been blocked

Ticket ID : {EVNT_136877_2013040520130402_33147_10348}  
Event type : Access blocked  
Event date : 04/05/2013 - 19:17:47 (server date-time)  
Event counter : First occurring  
Processed url : http://streambutler.net/  
From url : http://www.google.com/search  
Domain : streambutler.net 
Domain IP : 95.170.70.213  
Visitor IP : 66.249.81.131  
Proxy IP : 66.249.81.131  

Critical : Yes  
Action required : No  


Additional information
Problem : Bad Proxy - via 66.249.81.131 
Hostname : google-proxy-66-249-81-131.google.com 
Block : Yes 
Refferer : http://www.google.com/search 
AgentString : Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.4 (KHTML, like G... 
Browser : Chrome 22.0.1229 
Platform : Linux 
Robot : No 
Mobile : No 
Tablet : No 
Console : No 
Crawler : No 
Agent_type : browser 
Agent_name : chrome 
Agent_version : 22.0.1229 
Os_type : linux 
Os_name : linux 
Agent_languagetag : en 
Status : ok 
Request : 66.249.81.131 
Languagecode : us 
Country : United States 
Region : California 
City : Mountain View 
Zipcode : 94043 
Latitude : 37.406 
Longitude : -122.079 
Timezone : -07:00 

Available from  : \'http 
Areacode : 0 
Dmacode : 0 
Continentcode : na 
Currencycode : USD 
Currencysymbol : &#36; 
Currencysymbol_utf8 : $ 
Currencyconverter : 1 
Extended : 1 
Organization : NULL

找到其他变体

google-proxy-66-249-81-131.google.com（将自己标识为Firefox 6.0 ???）
google-proxy-66-249-81-148.google.com（尝试访问javascript文件）
google-proxy-66-249-81-131.google.com
google-proxy-66-249-81-111.google.com（尝试访问javascript 文件）
google-proxy-66-249-81-164.google.com

修改下一个是一个奇怪的，Windows 7上的Firefox 6.0和上面的例子相同的IP，但在下一个日志中不是代理？如果它是移动代理，这是非常奇怪的吗？

Ticket ID : {EVNT_164838_2013040520130402_33147_10348}  
Event type : Access blocked  
Event date : 04/05/2013 - 19:19:07 (server date-time)  
Event counter : First occurring  
Processed url : http://streambutler.net/  
From url : Unknown or direct link  
Domain : streambutler.net 
Domain IP : 95.170.70.213  
Visitor IP : 66.249.81.131  
Proxy IP : (not present)  

Critical : Yes  
Action required : No  


Additional information
Problem : Blocked Server IP address (analysis) - 66.249.81.131 
Hostname : google-proxy-66-249-81-131.google.com 
Block : Yes 
Refferer : (direct access) 
AgentString : Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 ... 
Browser : Firefox 6.0 
Platform : Windows 7 
Robot : No 
Mobile : No 
Tablet : No 
Console : No 
Crawler : No 
Agent_type : browser 
Agent_name : firefox 
Agent_version : 6.0 
Os_type : windows 
Os_name : windows 7 
Agent_languagetag : en 
Status : ok 
Request : 66.249.81.131 
Languagecode : us 
Country : United States 
Region : California 
City : Mountain View 
Zipcode : 94043 
Latitude : 37.406 
Longitude : -122.079 
Timezone : -07:00 
Available from  : \'http 
Areacode : 0 
Dmacode : 0 
Continentcode : na 
Currencycode : USD 
Currencysymbol : &#36; 
Currencysymbol_utf8 : $ 
Currencyconverter : 1 
Extended : 1 
Organization : NULL

编辑：解决方案：

知道了！这些“抓取工具”不是抓取工具，而是Google搜索引擎中使用的实时网站预览的一部分。

我试过这个，在预览中显示我的一个网站，是的，收到了一封被阻止的IP消息。

如果您希望用户能够查看您网站的预览，则必须接受这些“抓取工具”。

像其他人一样说：“该网址的根域是google.com，并且不容易被欺骗”。

结论：您可以信任这些僵尸程序或抓取工具，并用于在Google搜索中显示预览。

Answer 1

我尚未确认，但我怀疑这些IP可能与谷歌Chrome Mobile的谷歌数据压缩代理相关联：

https://developers.google.com/chrome/mobile/docs/data-compression

如果是这种情况，阻止它们会导致您的网站无法正常显示某些完全无辜的移动用户。

它也可能与用于使用Google +1按钮抓取网页摘要的Google+抓取工具相关联：

https://code.google.com/p/google-plus-platform/issues/detail?id=178

最重要的是，这些IP用于内部Google内容启动的Web请求。它们不是公共网络代理。

谷歌代理是假的爬虫吗？例如：google-proxy-66-249-81-131.google.com

编辑：解决方案：

1 个答案: