我正在用caffe深入学习并以HDF5格式生成我自己的数据集。我有131 976个图像,所有224x224,大约480MB,每个图像有一个1x6阵列作为标签。我发现当我生成.h5文件时,它们各自达到5GB,总共125GB。我只是想确保这是预料之中的。我检查了内容,但我不明白内存需求是如何大250倍。我正在做的就是填充numpy数组X和Y并创建数据集(总共25个)。
with h5py.File('/media/joe/SAMSUNG/GraspingData/HDF5/train'+str(j)+'.h5','w') as H:
H.create_dataset( 'graspData', data=X) # note the name - give to layer
H.create_dataset( 'graspLabel', data=Y)