通过代理直接python脚本

时间:2013-12-24 01:49:21

标签: python proxy

我正在使用请求制作一个简单的网络抓取工具,我如何通过代理指导所有脚本的功能,所以我抓取的网站不知道是我的?

2 个答案:

答案 0 :(得分:1)

您是否看过这篇文章http://www.python-requests.org/en/latest/user/advanced/#proxies

它描述了将代理与请求一起使用的几种方法 - 您可以单独或通常通过环境变量为每个请求指定单独的代理配置。

答案 1 :(得分:0)

使用请求在脚本中获取代理后面的响应或使用urllib2功能与代理使用以下代码段:

proxy_url = "https://proxy:port"
proxy_support = urllib2.ProxyHandler({'https': proxy_url})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener(opener)
url1 = "https://api_url"
req1 = urllib2.Request(url1)
print "response from API call is below"
res1 = urllib2.urlopen(req1)
response1 = res1.read()
print response1
jsonobj1 = json.loads(response1)