如何知道传入的请求是否来自搜索引擎机器人？

Question

有谁知道如何检测传入的请求是否来自搜索引擎机器人？ HTML标题是否包含任何特定信息？

Answer 1

您通常可以在HTTP标头中使用IP和用户代理的组合来计算出来。这里有一篇关于它的文章：http://www.jafsoft.com/searchengines/spider_hunting.html

Answer 2

您可以使用jQuery从请求中检查用户代理。

您可以通过$ .browser

获取此信息

但请记住，这很容易被欺骗。

Answer 3

HTTP请求有一个名为“用户代理”的字段。此字段指定请求是来自Mozilla还是Internet Explorer或某些搜索引擎机器人。 Java，php每个都有自己的命令来读取这个用户代理字段。