json.dump到python 3中的gzip文件

时间:2015-05-18 08:00:19

标签: python-3.x

我正在尝试在一个步骤中将对象写入gzip压缩的json文件(最小化代码,并可能节省内存空间)。我最初的想法(python3)因此是:

import gzip, json
with gzip.open("/tmp/test.gz", mode="wb") as f:
  json.dump({"a": 1}, f)

然而这失败了:TypeError: 'str' does not support the buffer interface,我认为这与字符串未被编码为字节有关。那么这样做的正确方法是什么?

我不满意的当前解决方案:

以文本模式打开文件解决了问题:

import gzip, json
with gzip.open("/tmp/test.gz", mode="wt") as f:
  json.dump({"a": 1}, f)

但是我不喜欢文本模式。在我看来(也许这是错误的,但由this支持),文本模式用于修复行尾。这不应该是一个问题,因为json没有行结尾,但我不喜欢它(可能)搞乱我的字节,它(可能)更慢,因为它正在寻找行结束来修复,并且(最坏的)所有)我不明白为什么关于行结尾的东西修复了我的编码问题?

1 个答案:

答案 0 :(得分:4)

offtopic :我应该比以前更深入地学习文档。

python docs显示:

  

通常,文件以文本模式打开,这意味着您从文件读取和写入文件,这些文件以特定编码(默认为UTF-8)编码。 ' B'附加到模式后,将以二进制模式打开文件:现在,数据以字节对象的形式读取和写入。此模式应该用于所有不包含文本的文件。

我不完全同意json编码的结果是一个字符串(我认为它应该是一组字节,因为它明确定义它使用utf-8编码),但我之前注意到了这一点。所以我猜它是文本模式。