我目前正在使用Python的cPickle模块执行以下任务:
1) Create +10,000 instances of a user-defined class.
2) Put all instances in a dictionary.
3) cPickle (using "dump(...)") this dictionary.
腌制文件需要大约100 MB。
当我再次调用代码时,它会使用" load(...)"再次加载实例。
上述方法运行正常。
我的问题是:这是最好的方法吗?也就是说,问题似乎应该是常见的,所以人们必须想出一些非常有效的方法来做到这一点,我只是想确保我不会错过这个。
例如,我听说过HDF5,但我认为这对用户定义的函数实例没有用,只要我能从中查找它?