Tor旋转IP设置有效,但Polipo隧道不跟随

时间:2019-09-05 08:59:14

标签: scrapy ip-address http-proxy tor polipo

我使用Polipo和Tor在Ubuntu 18.04.3。上使用Scrapy lib进行抓取。

torrc设置中,MaxCircuitDirtiness设置为20秒,SOCKSPort设置为9050端口。 在Polipo config文件中,它设置为socksParentProxy = localhost:9050,默认情况下,您知道监听端口为8123

现在,当我使用TOR测试IP地址时:

user@machine:~$ curl --proxy socks5h://localhost:9050 http://ipinfo.io/ip

每20秒运行一次此命令,IP就会更改。 使用Polipo:

user@machine:~$ curl --proxy 127.0.0.1:8123 ipinfo.io/ip

大约20分钟内IP不变。

  1. 如何使Polipo代理像Tor一样旋转?
  2. 使用Polipo之类的HTTP代理来执行scrapy或Tor的请求是否仍然是强制性的?

更新,研究tor的http代理

我遵循了此topic的示例。 然后,我在HTTPTunnelPort 9080文件的末尾写了torrc并重新启动服务。 现在,当我使用命令sudo netstat -tpln | grep tor检查时,我得到了

tcp        0      0 127.0.0.1:9080          0.0.0.0:*               LISTEN      24761/tor           
tcp        0      0 127.0.0.1:9050          0.0.0.0:*               LISTEN      24761/tor

所以端口9080显然是打开的。

现在有三个问题:

  1. curl --proxy 127.0.0.1:9080 ipinfo.io/ip不返回任何内容,而curl --proxytunnel 127.0.0.1:9080 ipinfo.io/ip
  2. 当我将刮scrap的蜘蛛设置为HTTP_PROXY=127.0.0.1:9080时,它将无法工作并返回错误消息[scrapy.spidermiddlewares.httperror] INFO: Ignoring response <405 http://checkip.dyndns.org/>: HTTP status code is not handled or not allowed。我不明白,因为据说目的是建立HTTP连接。
  3. curl --proxytunnel 127.0.0.1:9080 ipinfo.io/ip,即所谓的HTTPTunnelPort 9080,不允许按照设置MaxCircuitDirtiness 20的要求每20秒旋转IP地址。所以我坚持主要的问题。

0 个答案:

没有答案