如何在dryscrape python中设置socks5代理?

时间:2015-09-06 15:31:36

标签: python-2.7 web-scraping tor

我想通过tor废弃一些网站。

Tor作品使用socks代理。 我使用dryscrape(python中的库),因为它也执行javascripts。

但我dryscrape只能有http代理。

是否有一些方法可以为dryscrape设置socks5代理或任何其他方法?

感谢。

1 个答案:

答案 0 :(得分:1)

我设法使用polipo。它可以从here安装在ubuntu上。

Polipo可以说袜子协议以及http协议。 Polipo可以配置为通过http代理接收请求,并通过socks5代理转发相同的请求。

我将它用作dryscrape的前端代理服务器,用于后端代理服务器。

所以,现在我设置了dryscrape的http代理127.0.0.1(机器ip)和端口号。 8118(polipo的默认端口号)。 现在,Polipo通过socks5代理转发相同的请求。

所以,现在我可以使用dryscrape通过socks5代理发出请求。

here更详细地解释了它。 ;)