标签: python-2.7 web-scraping tor
我想通过tor废弃一些网站。
Tor作品使用socks代理。 我使用dryscrape(python中的库),因为它也执行javascripts。
但我dryscrape只能有http代理。
是否有一些方法可以为dryscrape设置socks5代理或任何其他方法?
感谢。
答案 0 :(得分:1)
我设法使用polipo。它可以从here安装在ubuntu上。
Polipo可以说袜子协议以及http协议。 Polipo可以配置为通过http代理接收请求,并通过socks5代理转发相同的请求。
我将它用作dryscrape的前端代理服务器,用于后端代理服务器。
所以,现在我设置了dryscrape的http代理127.0.0.1(机器ip)和端口号。 8118(polipo的默认端口号)。 现在,Polipo通过socks5代理转发相同的请求。
所以,现在我可以使用dryscrape通过socks5代理发出请求。
here更详细地解释了它。 ;)