识别googlebot的最佳方式

时间:2011-10-25 10:15:24

标签: php googlebot identify

识别Googlebot抓取工具的最可靠,最快捷的方式是什么? rDNS可以被欺骗,所以googlebot ip列表看起来是最可靠的方式。是否有任何网站/资源,可以获得实际的googlebot ips?欢迎任何其他想法。

2 个答案:

答案 0 :(得分:2)

如果你真的想让IP硬编码(我不推荐它,因为它可以随时更改而不另行通知),有一个列表here。我建议(以及建议的on Goggle Webmaster's blog)是你做反向DNS,然后是前向DNS来验证这一点。这应该永远有效,不能被欺骗。

答案 1 :(得分:0)

Google bot使用以下范围 -

  • 203.208.60.0/24,
  • 66.249.64.0/20,
  • 2001:4860:4801:2:6b00:6006:1300:b075,
  • 2001:4860:4801:5:1000:6006:1300:b075,
  • 2001:4860:4801:6:E300:6006:1300:b075,
  • 2001:4860:4801:2001 :: 6006:1300:b075,
  • 2001:4860:4801:2002 :: 6006:1300:b075

此处提供更多信息 -

http://myip.ms/info/bots/Google_Bing_Yahoo_Facebook_etc_Bot_IP_Addresses.html