我应该使用哪个用户代理？

Question

我已经构建了一个应该每天晚上抓取我的客户网站的webcrawler。我不希望我的请求显示在他们的Google分析中，所以我该如何自动保证？

据我所知，我通过用户代理表明请求是从爬虫来的。因此，默认情况下，我应该使用哪个用户代理字符串来分析筛选我的请求（以便客户不需要从报告中过滤请求）

Answer 1

Google Analytics是一种客户端工具。因此，如果您的抓取操作在服务器端是常见的，那么无论您为用户代理设置什么，它都无法报告您的请求。