我有很多活跃的公共代理,我想用来刮掉一些页面。
任何人都可以给我一个例子,说明如何在dryscrape中设置代理?
https://github.com/niklasb/dryscrape
我尝试用python设置sys env http_proxy并且没有用。
答案 0 :(得分:4)
您可以使用dryscrape.Session.set_proxy
方法设置代理。
例如:
my_session = dryscrape.Session(base_url = 'https://stackoverflow.com')
my_session.set_proxy('127.0.0.1', 9000)