如何在代理中设置国家/地区限制?

时间:2018-11-13 12:45:26

标签: proxy scrapy ip tor polipo

我使用Scrapy进行网页抓取,使用Polipo作为代理,使用Tor作为网络。 我知道我的代理服务器会轮换IP,但是IP位置大部分时间不在我的国家/地区内。在我抓取的网站上,考虑到IP的位置,可能会有一些阻碍。 那么,如何保持旋转IP规则并限制所使用IP的位置?

Scrapy版本:1.5.0,Python版本:2.7.9,Tor版本:0.3.4.8,Vidalia:0.2.21

1 个答案:

答案 0 :(得分:2)

您可能最了解这一点,但是要抓取的网站的最终IP会看到出口节点的IP。这样,您可以控制出口节点using configuration

的国家/地区

您可以运行多个tor设置,并在整个请求集中混合匹配或旋转tor服务。