是否可以使用像谷歌趋势的爬虫等代理旋转器？

Question

由于谷歌趋势要求您登录，我仍然可以使用爬虫等IP转子来下载csv文件吗？如果是这样，是否有任何示例代码与python（即python + crawlera下载谷歌上的文件）。

提前致谢。

Answer 1

没有人会为你编写代码。

但我可以留下一些评论，因为我过去几个月一直在使用Crawlera代理。

使用crawlera，您可以每次使用新IP刮取Google趋势，甚至每次都可以使用相同的IP（在crawlera中称为会话管理）。

您可以发送标题'X-Crawlera-Session':'create'以及您的请求，Crawlera会在其结束时创建会话，作为回应，他们将返回'X-Crawlera-Session': ['123123123'] ...如果您认为自己不是被Google封锁，

您可以针对每个请求发送'X-Crawlera-Session': '123123123'，以便Crawlera每次都使用相同的IP。

Answer 2

文档中有许多语言的代码示例。 有关Python示例，请参阅https://doc.scrapinghub.com/crawlera.html#python。

Answer 3

是的，可以使用Crawlera以及https://gimmeproxy.com等其他代理api。它提供了可能适合您的Google代理。