通过Python请求模块发出HTTP请求不能通过curl的代理工作吗?为什么?

时间:2011-12-13 00:30:59

标签: python proxy get http-request python-requests

使用此curl命令,我可以从Bash中获取我正在寻找的响应

curl -v -u z:secret_key --proxy http://proxy.net:80  \
-H "Content-Type: application/json" https://service.com/data.json

I have already seen this other post on proxies with the Requests module

它帮助我在Python中制定我的代码,但我需要通过代理发出请求。但是,即使在提供适当的代理时,它也无法正常工作。也许我只是没有看到什么?

>>> requests.request('GET', 'https://service.com/data.json', \
>>> headers={'Content-Type':'application/json'}, \ 
>>> proxies = {'http' : "http://proxy.net:80",'https':'http://proxy.net:80'}, \
>>> auth=('z', 'secret_key'))

此外,在同一个python控制台上,我可以使用urllib发出请求,使其成功。

>>> import urllib
>>> urllib.urlopen("http://www.httpbin.org").read()
---results---

即使只在非https地址上尝试请求也无法正常工作。

>>> requests.get('http://www.httpbin.org')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/Library/Python/2.6/site-packages/requests/api.py", line 79, in get
   return request('get', url, **kwargs)
File "/Library/Python/2.6/site-packages/requests/api.py", line 66, in request
    prefetch=prefetch
File "/Library/Python/2.6/site-packages/requests/sessions.py", line 191, in request
    r.send(prefetch=prefetch)
File "/Library/Python/2.6/site-packages/requests/models.py", line 454, in send
    raise ConnectionError(e)
requests.exceptions.ConnectionError: Max retries exceeded for url:

请求是如此优雅和令人敬畏但在这种情况下怎么会失败?

2 个答案:

答案 0 :(得分:9)

问题实际上在于python的标准url访问库 - urllib / urllib2 / httplib。我不记得哪个库是确切的罪魁祸首,但为了简单起见,我们只需将其称为urllib。遗憾的是,urllib没有实现通过http(s)代理访问https站点所需的HTTP Connect方法。我使用urllib添加功能的努力没有成功(自从我尝试以来已经有一段时间了)。所以很遗憾,我所知道的唯一选择就是在这种情况下使用pycurl。

然而,有一个相对干净的解决方案几乎与python请求完全相同的API,但它使用pycurl后端而不是python标准库。

该库名为human_curl。我自己用过它并且效果很好。

答案 1 :(得分:1)

相信上面的回答我们尝试了human_curl

human_curl给出了错误,例如未知错误, 而 urllib3给出了正确的错误,例如Request Timed out,Max retries超过了url。

所以,我们回到了urllib3,urllib3是线程安全的。我们对urllib3感到满意

现在只有问题我们得到它“超出最大重试次数”, 我们无法解决它, 猜测它可能与服务器/代理有关, 但不确定。