通过gzip
和compression_opts=9
压缩Numpy数组可减少文件大小3.38倍-显着。但是,目标是将更多批次加载到RAM中以加速深度学习-压缩不启用,因为HDF5-s在加载时会被解压缩。
这就是说,是否可以根据需要加载HDF5文件而无需解压缩-要在以后 解压缩?例如
hdf5_compressed = h5py.load_without_decompression(filepath)
# do stuff
batch = do_decompression(hdf5_compressed)