cPickle：SystemError：错误返回没有异常设置

Question

按以下方式倾倒大矩阵（170000 * 20000）

$($('#sourcedidSource').get(0).nextSibling).remove();

我收到以下错误：

 cPickle.dump(train_set,gzip.open('train.pickle.gz','wb'), cPickle.HIGHEST_PROTOCOL)

在这种情况下我该如何处理？

Answer 1

cPickle不能用于存储非常大的对象（请参阅http://bugs.python.org/issue11564）。

您有几种选择：

• 将数据拆分为块并将其存储在多个文件中
• numpy.save
• h5py＆lt; - 我最喜欢的是因为它方便的类似numpy的界面，而且数据存储在hdf5中，可以与其他软件/语言互通。
• pytables