在proxpy中写为非人类可读的响应主体

时间:2015-02-03 05:42:23

标签: python http encoding io proxy

我正在为proxpy编写一个插件。这基本上是用python编写的HTTP / HTTPS代理。您可以通过实现两个函数来扩展它,其中的参数分别是HTTP请求和响应。像这样:

方法1(请求):

#your implementation

方法2(响应):

#your implementation

我想简单地将请求和响应写入文件。

响应对象有一个serialize()函数,我调用该函数将整个响应作为字符串,然后将其写入文件。这是我的代码:

def proxy_mangle_response(res):
    temp = res.serialize()
    file_temp = open('test.txt', 'a')
    file_temp.write(temp + '\n\n')
    file_temp.close()

然而,问题是,响应主体被写为非人类可读的乱码,即使它在通过Live HTTP标头(chrome扩展)等检查时显示为HTML。

serialize()方法由proxpy提供,实现如下:

def serialize(self):
        # Response line
        s = "%s %s %s" % (self.proto, self.code, self.msg)
        s += HTTPMessage.EOL

        # Headers
        for n,v in self.headers.iteritems():
        for i in v:
        s += "%s: %s" % (n, i)
        s += HTTPMessage.EOL

        s += HTTPMessage.EOL

        # Body
        if not self.isChunked():
            s += self.body
        else:
            # FIXME: Make a single-chunk body
            s += "%x" % len(self.body) + HTTPMessage.EOL
            s += self.body + HTTPMessage.EOL
            s += HTTPMessage.EOL
            s += "0" + HTTPMessage.EOL + HTTPMessage.EOL

        return s

要重现此问题,请点击' dawn.com'运行proxpy之后。第一个发送到dawn.com的请求将重现该问题。

以下是响应标题:

CF-RAY  1b2c4934487f073d-AMS
Connection  keep-alive
Content-Encoding    gzip
Content-Type    text/html
Date    Tue, 03 Feb 2015 05:39:05 GMT
Server  cloudflare-nginx
Transfer-Encoding   chunked
Vary    Accept-Encoding
X-Backend   www2
X-Developer Enjoy webdev? We like you, reach out at topcoder(at)compunode.com

我认为这是某种编码问题,标题中有一些信息会使浏览器正确解释响应正文。

1 个答案:

答案 0 :(得分:0)

事实证明,使用gzip压缩了响应正文,从响应标头Content-Encoding可以看出这一点。浏览器在显示之前对其进行解压缩。如果zlib标头值设置为Content-Encoding,则只需使用gzip解压缩。