Question

以下是我最近看到的一些蜘蛛用户代理字符串。它们似乎都包含一个前缀为+：

的URL

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; meanpathbot/1.0; +http://www.meanpath.com/meanpathbot.html)
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

这只是大多数蜘蛛遵循的惯例吗？或者它是在某处指定的。我无法找到它。

Answer 1

这只是一些蜘蛛跟随的惯例。人们可以在用户代理标头中添加什么内容没有限制。

查看包含＆＃34; GoogleBot＆＃34;的this list个用户代理。您会注意到其中许多内容不包含＆＃34; + http＆＃34;。

是否所有蜘蛛都应该在其用户代理字符串中使用+ http？

1 个答案: