我们在我们的网站上实施了一个新的访问次数功能，当访问我们网站上的公司资料时，我们会在Views数据库中保存一行。这是使用服务器端“/ addVisit”函数完成的，每次加载页面（公司配置文件）时都会运行该函数。不幸的是，这意味着我们昨晚有来自Googlebot的400多次访问。
由于我们希望Google为这些网页编制索引，因此我们无法使用robots.txt在这些网页上排除Googlebot。
我还读到使用jQuery $ .get（）运行此函数不会阻止Googlebot。
唯一可行的解决方案是排除已知的机器人IP还是有选项？
或者可能使用带有robots.txt的jQuery $ .get（/ addVisit）exclude / addVisit会阻止googlebot和其他机器人运行此功能吗？
答案 0 :(得分：1)
在您网站的根目录中创建一个robots.txt文件，然后添加：
User-agent: Google
Disallow: /addVisit
您还可以使用*代替Google，以便/addvisit不会被任何引擎编入索引。搜索引擎始终开始寻找/robots.txt。如果此文件存在，它们将解析内容并遵守应用的限制。
有关详细信息，请参阅http://www.robotstxt.org/robotstxt.html。
答案 1 :(得分：1)
如果您通过服务器端HTTP请求处理计数，则可以过滤包含“Googlebot”一词的所有用户代理。 Google快速搜索向我展示了几个Googlebot用户代理示例：
Googlebot/2.1 (+http://www.google.com/bot.html)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)