压缩.npy数据以节省磁盘空间

时间:2018-05-31 12:06:06

标签: python-2.7 numpy scipy save diskspace

我已经在我的磁盘上存储了一个巨大的数据集。由于我的数据集大约是1.5 TB。 l将其划分为32个样本,以便能够在python 2.7中使用numpy.save('data_1.npy')。以下是9个子数据集的示例。每个大约30 GB。

每个.npy文件的形状为(number_of_examples,224,224,19),值为float。

data_1.npy
data_2.npy
data_3.npy
data_4.npy
data_5.npy
data_6.npy
data_7.npy
data_8.npy
data_9.npy

使用np.save(' * .npy'),我的数据集在我的磁盘中占用1.5 Tera。

1)是否有一种有效的方法来压缩我的数据集以获得一些可用空间磁盘? 2)是否有一种有效的方法来保存比np.save()占用更少空间内存的文件?

谢谢

0 个答案:

没有答案