识别Googlebot抓取工具的最可靠,最快捷的方式是什么? rDNS可以被欺骗,所以googlebot ip列表看起来是最可靠的方式。是否有任何网站/资源,可以获得实际的googlebot ips?欢迎任何其他想法。
答案 0 :(得分:2)
如果你真的想让IP硬编码(我不推荐它,因为它可以随时更改而不另行通知),有一个列表here。我建议(以及建议的on Goggle Webmaster's blog)是你做反向DNS,然后是前向DNS来验证这一点。这应该永远有效,不能被欺骗。
答案 1 :(得分:0)
Google bot使用以下范围 -
此处提供更多信息 -
http://myip.ms/info/bots/Google_Bing_Yahoo_Facebook_etc_Bot_IP_Addresses.html