使用zlib从HTTPS流量解压缩gzip,错误的标头检查

时间:2018-07-12 08:06:32

标签: python python-3.x https decode zlib

我正在尝试使用python创建一个代理,该代理还读取请求和响应的内容,而我正在使用它来做:https://github.com/inaz2/proxy2/blob/python3/proxy2.py

但是由于某些原因,我无法解压缩任何gzip压缩的有效负载。到目前为止,我已经尝试过:

@staticmethod
def decode_content_body(data, encoding):
    print(encoding) # -> 'gzip'
    if not data:
        return None

    if encoding == 'identity':
        text = data
    elif encoding in ('gzip', 'x-gzip'):
        try:
            data = data.encoded('latin_1')
            # data = str(data) # no luck
            # data = data.encoded() # no luck
            compressed_stream = StringIO(data)
            gzipper = gzip.GzipFile(fileobj=compressed_stream)
            text = gzipper.read() # -> TypeError: can't concat str to bytes

        except:
            # data has to be bytes like object, says zlib
            # text = zlib.decompress(data.encode()) # -> zlib.error: Error -3 while decompressing data: incorrect header check
            text = zlib.decompress(data.encode(), -zlib.MAX_WBITS) # -> zlib.error: Error -3 while decompressing data: invalid block type

    elif encoding == 'deflate':
        try:
            text = zlib.decompress(data)
        except zlib.error:
            text = zlib.decompress(data, -zlib.MAX_WBITS)

    else:
        raise Exception("Unknown Content-Encoding: {}".format(encoding))
    return text

数据不是人类可读的格式,因此显然已被压缩。代理正在使用使用HTTPS的网站。

1 个答案:

答案 0 :(得分:0)

传递给您的函数的data可能是问题所在。

它的类型为str,因此您用来读取请求数据的代码已经已尝试将其收到的bytes数据解码为 1}}。两件事情之一可能出了问题:

  1. 它完全不希望str包含压缩数据
  2. 它希望使用与实际使用的机制不同的机制来压缩数据

因此,bytes包含乱码!

使用str软件包时,我遇到了同样的问题!就我而言,解决方案是在打开Stomp连接时显式设置stomp.py参数。

希望有帮助!

PS:有关如何解决我的特定问题的更多信息:https://groups.google.com/forum/#!topic/openraildata-talk/IsO206F5US8