我正在实施一个简单的过滤器，了解我的网站未注册用户可以访问多少。当然，我想给SEO机器人免费统治/访问大部分网站。
我知道这很简单。但它不值得做任何更复杂的事情。我需要编译一个我允许的用户代理名称列表，为此，我需要一个机器人名称列表，从Googlebot开始（我甚至不知道这是否是Gogles web爬行机器人的官方拼写）。
任何人，我想要一个明确的资源链接，提供SEO索引机器人的名字？我尝试http://www.user-agents.org/，但粒度不够好 - 它似乎列出了每个创建的用户代理！
答案 0 :(得分：8)
试试此列表：http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler
虽然Google，Yahoo，Bing，百度，Ask和AOL的组合几乎占据了搜索引擎市场的100％。所以我建议将爬虫用户代理添加到您的过滤器中，您实际上不需要担心其余的。
答案 1 :(得分：0)
您还应该记得通过搜索引擎的缓存避免看到您的内容：
<meta name=”robots” content=”noarchive”>