如何设置代理隐藏我的IP地址以使用dryscrape抓取网页

时间:2014-09-29 16:48:19

标签: python proxy web-scraping scrape

我有很多活跃的公共代理,我想用来刮掉一些页面。

任何人都可以给我一个例子,说明如何在dryscrape中设置代理?

https://github.com/niklasb/dryscrape

我尝试用python设置sys env http_proxy并且没有用。

1 个答案:

答案 0 :(得分:4)

您可以使用dryscrape.Session.set_proxy方法设置代理。

例如:

my_session = dryscrape.Session(base_url = 'https://stackoverflow.com')
my_session.set_proxy('127.0.0.1', 9000)