有关在磁盘上以Python格式存储(和重新加载)10,000多个用户定义对象的建议

时间:2015-02-26 23:34:08

标签: python bigdata hdf5 pickle

我目前正在使用Python的cPickle模块执行以下任务:

1) Create +10,000 instances of a user-defined class.
2) Put all instances in a dictionary.
3) cPickle (using "dump(...)") this dictionary.

腌制文件需要大约100 MB。

当我再次调用代码时,它会使用" load(...)"再次加载实例。

上述方法运行正常。

我的问题是:这是最好的方法吗?也就是说,问题似乎应该是常见的,所以人们必须想出一些非常有效的方法来做到这一点,我只是想确保我不会错过这个。

例如,我听说过HDF5,但我认为这对用户定义的函数实例没有用,只要我能从中查找它?

0 个答案:

没有答案