Google-Plus Crawler

时间:2013-12-23 19:47:15

标签: google-plus

目前,我公司正在尝试将Google Plus One链接添加到我们的网站。

我们的代码有效,但似乎Google-Plus Crawler无法访问网页内容。创建共享链接代码段时,它会显示一条消息,指出抓取工具无法查看内容,因为它无法通过测试来区分机器人和人类访问者。

我们可以将机器人列入白名单,但我们使用的系统只接受用户代理和URL。检测到User-Agent时,会运行反向查找,并将bot ip与输入的url进行比较,以查看它是否来自同一组ips。

我知道Google Plus抓取工具不使用机器人风格的用户代理,例如Mozilla / 5.0(兼容; Googlebot / 2.1; + http://www.google.com/bot.html),但我们是否可以使用用户代理执行必要的白名单测试?

3 个答案:

答案 0 :(得分:14)

是的。 +Snippet bot用户代理包含以下字符串:

Google (+https://developers.google.com/+/web/snippet/)

答案 1 :(得分:1)

这是用户代理为我返回的内容:

  

Mozilla / 5.0(Windows NT 6.1; rv:6.0)Gecko / 20110814 Firefox / 6.0 Google   (+ https://developers.google.com/+/web/snippet/

答案 2 :(得分:1)

这是用户代理为我返回的内容: Mozilla / 5.0(Windows NT 6.1; rv:6.0)Gecko / 20110814 Firefox / 6.0 Google(+)