我反复腌制多个物体,但不是连续地腌制。但事实证明,腌制的输出文件太大(每个大约256MB)。
所以我尝试了bz2.BZ2File
而不是open
,每个文件都变成了1.3MB。 (是的,哇。)问题是它需要太长时间(比如95秒酸洗一个物体),我想加快速度。
每个对象都是一个字典,并且大多数都有类似的结构(或层次结构,如果更好地描述它:几乎相同的一组键,每个键对应的每个值通常都有一些特定的结构,依此类推)。许多字典值都是numpy数组,我认为很多零都会出现在那里。
你能给我一些建议让它更快吗?
谢谢!