我已经在我的磁盘上存储了一个巨大的数据集。由于我的数据集大约是1.5 TB。 l将其划分为32个样本,以便能够在python 2.7中使用numpy.save('data_1.npy')
。以下是9个子数据集的示例。每个大约30 GB。
每个.npy
文件的形状为(number_of_examples,224,224,19
),值为float。
data_1.npy
data_2.npy
data_3.npy
data_4.npy
data_5.npy
data_6.npy
data_7.npy
data_8.npy
data_9.npy
使用np.save(' * .npy'),我的数据集在我的磁盘中占用1.5 Tera。
1)是否有一种有效的方法来压缩我的数据集以获得一些可用空间磁盘? 2)是否有一种有效的方法来保存比np.save()占用更少空间内存的文件?
谢谢