Question

我已经以这种方式设置了我的htaccess

SetEnvIfNoCase User-Agent .*google.* search_robot
SetEnvIfNoCase User-Agent .*yahoo.* search_robot
SetEnvIfNoCase User-Agent .*bot.* search_robot
SetEnvIfNoCase User-Agent .*ask.* search_robot

Order Deny,Allow
Deny from All
Allow from env=search_robot

我有这个机器人出现了：

IPv4 address:198.143.187.122
Reverse DNS:blexn3.webmeup.com
RIR:ARIN
Country:United States 
RBL Status:Clear
Thread:No threats detected

这个机器人是谷歌还是我错过了什么？

Answer 1

没有BLEXBot不是谷歌。它属于一个名为WebMeUp的公司。您可以找到信息about them here。

如果您在日志中查找IP，您会发现它不是Google。

IP Address      198.143.187.122
Host            blexn3.webmeup.com
Location        US   US, United States
City            Chicago, IL 60661
Organization    SingleHop
ISP             SingleHop

Google IP会将Google列为该组织。

谷歌使用他们自己的机器人，他们是定制的。您可以read up about them here，包括可能对您有用的用户代理字符串的确切列表。

要阻止关注instructions here。

是否使用了BLEXBot抓取工具？

1 个答案: