使用h5py的相对较大的HDF5文件 - 完整性检查

Question

我正在用caffe深入学习并以HDF5格式生成我自己的数据集。我有131 976个图像，所有224x224，大约480MB，每个图像有一个1x6阵列作为标签。我发现当我生成.h5文件时，它们各自达到5GB，总共125GB。我只是想确保这是预料之中的。我检查了内容，但我不明白内存需求是如何大250倍。我正在做的就是填充numpy数组X和Y并创建数据集（总共25个）。

with h5py.File('/media/joe/SAMSUNG/GraspingData/HDF5/train'+str(j)+'.h5','w') as H:
    H.create_dataset( 'graspData', data=X)                      # note the name - give to layer
    H.create_dataset( 'graspLabel', data=Y)