Numpy在大型数据集中保存时间过长

时间:2016-06-18 21:46:08

标签: python arrays numpy io h5py

我试图将一个numpy数组保存到磁盘,但保存过程似乎永远不会结束,并且终端会一直挂着,而不会向我显示完成的最终打印消息'。我可以通过在保存功能之前检查其shape来正确形成数组。 我想知道我是否做错了,或者考虑到数据集的大小,numpy.save是否会出现这种情况。

使用numpy还是h5py有更有效的方法吗?

# Xy_array is a 3D array of 10,000 images, each 224 x 224

Xy_array = np.asarray(lst)
f = open('./data/data.npy', 'wb')
np.save(f, Xy_array)
f.close()
print('done')

0 个答案:

没有答案