我使用Scrapy进行网页抓取,使用Polipo作为代理,使用Tor作为网络。 我知道我的代理服务器会轮换IP,但是IP位置大部分时间不在我的国家/地区内。在我抓取的网站上,考虑到IP的位置,可能会有一些阻碍。 那么,如何保持旋转IP规则并限制所使用IP的位置?
Scrapy版本:1.5.0,Python版本:2.7.9,Tor版本:0.3.4.8,Vidalia:0.2.21
答案 0 :(得分:2)
您可能最了解这一点,但是要抓取的网站的最终IP会看到出口节点的IP。这样,您可以控制出口节点using configuration
的国家/地区您可以运行多个tor设置,并在整个请求集中混合匹配或旋转tor服务。