更快地重复使用bz2.BZ2File进行酸洗

时间:2017-12-12 15:49:29

标签: python python-2.7 numpy pickle bz2

我反复腌制多个物体,但不是连续地腌制。但事实证明,腌制的输出文件太大(每个大约256MB)。

所以我尝试了bz2.BZ2File而不是open,每个文件都变成了1.3MB。 (是的,哇。)问题是它需要太长时间(比如95秒酸洗一个物体),我想加快速度。

每个对象都是一个字典,并且大多数都有类似的结构(或层次结构,如果更好地描述它:几乎相同的一组键,每个键对应的每个值通常都有一些特定的结构,依此类推)。许多字典值都是numpy数组,我认为很多零都会出现在那里。

你能给我一些建议让它更快吗?

谢谢!

1 个答案:

答案 0 :(得分:1)

我最终使用lz4,这是一种超快的压缩算法。

a python wrapper,可以轻松安装:

pip install lz4