Question

我正在尝试使用gunicorn发送一个utf-8编码的字符串，这是bz2压缩的结果，作为对get请求的响应。

这是我在gunicorn服务器端的代码：

def app(environ, start_response):
    data = "Hello, World!" * 10
    compressed_data = bz2.compress(data)
    start_response("200 OK", [("Content-Type", "text/plain"),
                              ('charset', 'utf-8'),
                              ("Content-Length", str(len(compressed_data))),
                              ('Access-Control-Allow-Headers', '*'),
                              ('Access-Control-Allow-Origin', '*'),
                              # ('Content-Transfer-Encoding', 'BASE64'),
                          ])
    return iter([compressed_data])

当我尝试使用像这样的Python请求包从客户端获取请求时

import bz2
import requests
res = requests.get('http://127.0.0.1:8000')
bz2.decompress(res.text)

它正在引发异常

UnicodeEncodeError: 'ascii' codec can't encode character u'\xab' in position 11: ordinal not in range(128)

说响应无法解码在尝试打印回复文本时

print(res.text)
>>u'BZh91AY&SYy\xabm\x99\x00\x00\x13\x97\x80`\x04\x00@\x00\x80\x06\x04\x90\x00 \x00\xa5P\xd0\xda\x10\x03\x0e\xd3\xd4\xdai4\x9bO\x93\x13\x13\xc2b~\x9c\x17rE8P\x90y\xabm\x99'

打印编码文本时

import bz2
print(bz2.compress("Hello, World!" * 10))
>> 'BZh91AY&SYy\xabm\x99\x00\x00\x13\x97\x80`\x04\x00@\x00\x80\x06\x04\x90\x00 \x00\xa5P\xd0\xda\x10\x03\x0e\xd3\xd4\xdai4\x9bO\x93\x13\x13\xc2b~\x9c\x17rE8P\x90y\xabm\x99'

唯一的区别是unicode标志，我通过调整客户端数据来解决这个问题，使响应字符串可解码，但我想知道如何在服务器端解决这个问题？

Answer 1

问题是该字符串以unicode形式出现。您不应该尝试将bz2压缩数据解释为文本。

请参阅request docs，了解如何将数据解释为原始数据而不是文本：

res.content  # not res.text

此外，数据不应首先作为text/plain发送。 BZ2压缩数据不是文本，应该以{{1}}（即字节流）发送。

快速破解将文本重新解释为字节流（因为默认的ascii编解码器不能处理0-127范围之外的字节，我们使用application/octet-stream对数据进行编码。

ISO-8859-1

但理想情况下，您应该修复数据类型。

Answer 2

您不能将bzip2压缩数据作为utf-8发送。它是二进制数据，不是文本。

如果您的http客户端接受bzip2内容编码（bzip2 is not standard），那么您可以发送使用bzip2压缩的utf-8编码文本：

#!/usr/bin/env python
import bz2

def app(environ, start_response):
    status = '200 OK'
    headers = [('Content-type', 'text/plain; charset=utf-8')]
    data = (u'Hello \N{SNOWMAN}\n' * 10).encode('utf-8')

    if 'bzip2' in environ.get('HTTP_ACCEPT_ENCODING', ''): # use bzip2 only if requested
        data = bz2.compress(data)
        headers.append(('Content-Encoding', 'bzip2'))

    headers.append(('Content-Length', str(len(data))))
    start_response(status, headers)
    return data

实施例

未压缩的回复：

$ http -v 127.0.0.1:8000
GET / HTTP/1.1
Accept: */*
Accept-Encoding: gzip, deflate
Connection: keep-alive
Host: 127.0.0.1:8000
User-Agent: HTTPie/0.9.2



HTTP/1.1 200 OK
Connection: close
Content-Length: 100
Content-type: text/plain; charset=utf-8
Date: Sun, 17 May 2015 18:47:50 GMT
Server: gunicorn/19.3.0

Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃

bzip2压缩响应，如果客户端指定它接受bzip2：

$ http -v 127.0.0.1:8000 Accept-Encoding:bzip2 
GET / HTTP/1.1
Accept: */*
Accept-Encoding: bzip2
Connection: keep-alive
Host: 127.0.0.1:8000
User-Agent: HTTPie/0.9.2



HTTP/1.1 200 OK
Connection: close
Content-Encoding: bzip2
Content-Length: 65
Content-type: text/plain; charset=utf-8
Date: Sun, 17 May 2015 18:48:23 GMT
Server: gunicorn/19.3.0



+-----------------------------------------+
| NOTE: binary data not shown in terminal |
+-----------------------------------------+

这是使用requests库的相应http客户端：

#!/usr/bin/env python
from __future__ import print_function
import bz2
import requests # $ pip install requests

r = requests.get('http://localhost:8000', headers={'Accept-Encoding': 'gzip, deflate, bzip2'})
content = r.content
print(len(content))
if r.headers['Content-Encoding'].endswith('bzip2'): # requests doesn't understand bzip2
    content = bz2.decompress(content)
print(len(content))
text = content.decode(r.encoding)
print(len(text))
print(text, end='')

输出

65
100
80
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃

否则（没有非标准的接受编码），您应将application/octet-stream的数据作为@icedtrees suggested发送：

#!/usr/bin/env python
import bz2

def app(environ, start_response):
    status = '200 OK'
    headers = [('Content-type', 'application/octet-stream')]
    data = bz2.compress((u'Hello \N{SNOWMAN}\n' * 10).encode('utf-8'))

    headers.append(('Content-Length', str(len(data))))
    start_response(status, headers)
    return data

实施例

$ http 127.0.0.1:8000 
HTTP/1.1 200 OK
Connection: close
Content-Length: 65
Content-type: application/octet-stream
Date: Sun, 17 May 2015 18:53:55 GMT
Server: gunicorn/19.3.0



+-----------------------------------------+
| NOTE: binary data not shown in terminal |
+-----------------------------------------+

bzcat接受bzip2内容：

$ http 127.0.0.1:8000 | bzcat
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃
Hello ☃

数据显示正确，因为终端使用utf-8编码。

使用Python 2.7通过gunicorn将bz2压缩数据作为utf-8字符串发送

2 个答案:

实施例

输出

实施例