如何查看Python应用程序发送的整个HTTP请求?

时间:2012-05-14 18:03:10

标签: python debugging https python-requests

就我而言,我正在使用requests库通过HTTPS调用PayPal的API。不幸的是,我从PayPal收到错误,并且PayPal支持无法弄清楚错误是什么或导致错误的原因。他们要我“请提供整个请求,包含标题”。

我该怎么做?

5 个答案:

答案 0 :(得分:412)

一种简单的方法:启用最近版本的请求(1.x及更高版本)的日志记录。

请求使用http.clientlogging模块配置来控制日志记录详细程度,如here所述。

示范

摘自链接文档的代码:

import requests
import logging

# These two lines enable debugging at httplib level (requests->urllib3->http.client)
# You will see the REQUEST, including HEADERS and DATA, and RESPONSE with HEADERS but without DATA.
# The only thing missing will be the response.body which is not logged.
try:
    import http.client as http_client
except ImportError:
    # Python 2
    import httplib as http_client
http_client.HTTPConnection.debuglevel = 1

# You must initialize logging, otherwise you'll not see debug output.
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

requests.get('https://httpbin.org/headers')

示例输出

$ python requests-logging.py 
INFO:requests.packages.urllib3.connectionpool:Starting new HTTPS connection (1): httpbin.org
send: 'GET /headers HTTP/1.1\r\nHost: httpbin.org\r\nAccept-Encoding: gzip, deflate, compress\r\nAccept: */*\r\nUser-Agent: python-requests/1.2.0 CPython/2.7.3 Linux/3.2.0-48-generic\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Content-Type: application/json
header: Date: Sat, 29 Jun 2013 11:19:34 GMT
header: Server: gunicorn/0.17.4
header: Content-Length: 226
header: Connection: keep-alive
DEBUG:requests.packages.urllib3.connectionpool:"GET /headers HTTP/1.1" 200 226

答案 1 :(得分:111)

r = requests.get('https://api.github.com', auth=('user', 'pass'))

r是回复。它有一个请求属性,其中包含您需要的信息。

r.request.allow_redirects  r.request.headers          r.request.response
r.request.auth             r.request.hooks            r.request.send
r.request.cert             r.request.method           r.request.sent
r.request.config           r.request.params           r.request.session
r.request.cookies          r.request.path_url         r.request.timeout
r.request.data             r.request.prefetch         r.request.url
r.request.deregister_hook  r.request.proxies          r.request.verify
r.request.files            r.request.redirect         
r.request.full_url         r.request.register_hook

r.request.headers给出了标题:

{'Accept': '*/*',
 'Accept-Encoding': 'identity, deflate, compress, gzip',
 'Authorization': u'Basic dXNlcjpwYXNz',
 'User-Agent': 'python-requests/0.12.1'}

然后r.request.data将身体作为映射。如果他们愿意,您可以使用urllib.urlencode进行转换:

import urllib
b = r.request.data
encoded_body = urllib.urlencode(b)

取决于回复的类型,.data - 属性可能会丢失,而.body - 属性则会出现。

答案 2 :(得分:6)

如果您使用的是Python 2.x,请尝试安装urllib2开启工具。这应该打印出你的标题,尽管你可能需要将它与你用来点击HTTPS的其他开启者结合起来。

import urllib2
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1)))
urllib2.urlopen(url)

答案 3 :(得分:3)

verbose配置选项可能允许您查看所需内容。有an example in the documentation

注意:请阅读以下评论:详细的配置选项似乎不再可用。

答案 4 :(得分:2)

您可以使用HTTP Toolkit来做到这一点。

如果您需要快速执行此操作,而无需更改代码,则特别有用:您可以从HTTP Toolkit打开终端,从那里正常运行任何Python代码,并且可以看到每一个的完整内容立即发出HTTP / HTTPS请求。

有一个免费版本,可以满足您的所有需求,并且100%开放源代码。

我是HTTP工具包的创建者;我实际上是自己构建的,以便不久前为我解决完全相同的问题!我也曾尝试调试付款集成,但是他们的SDK无法正常工作,我无法告知原因,我需要知道实际情况如何对其进行正确修复。这非常令人沮丧,但是能够看到原始流量确实有帮助。