过滤掉搜索引擎机器人流量

Question

我正在我的网站上进行自定义滚动视图跟踪，我只是意识到我完全忘记了搜索机器人点击页面。如何从我的视图跟踪中过滤出该流量？

Answer 1

查看用户代理。黑名单似乎是合乎逻辑的，即过滤掉包含“Googlebot”或其他已知搜索引擎机器人的所有字符串，但是有很多这样的字符串，最简单的白名单很容易：使用已知的浏览器记录访问者

另一种方法是使用一些JavaScript来进行实际的日志记录（如Google Analytics一样）。机器人不会加载JS，因此不会计入您的统计数据。您还可以通过这种方式进行更详细的日志记录，因为您可以准确地看到（直到像素 - 如果您需要）点击了哪些链接。

Answer 2

您可以检查用户代理：here有一个不错的列表。 或者您可以使用robots.txt上的匹配进行交叉检查，因为所有蜘蛛都应该首先阅读，而用户通常不会这样做。