在使用h5py创建数据集时,是否建议在gzip或lzf旁边同时使用“ shuffle”和“ fletcher32”过滤器?

时间:2019-05-25 06:19:06

标签: python python-3.x hdf5 h5py

我正在尝试使用h5py以HDF5格式写入数据集。 create_dataset()方法具有选择压缩类型和过滤器的选项。到目前为止,我找不到任何资源来了解shuffle = Truefletcher32 = True是否可以与compression = 'lzf''gzip'一起使用。

f = h5py.open("my_hdf_file.h5", "w")
dset = f.create_dataset("zipped_dataset", shape=(778, 181, 128, 128), 
                                          chunks = True, 
                                          compression="gzip", 
                                          compression_opts=9, 
                                          shuffle = True)
f.close()

我知道上面的代码还可以,并且有书籍和网络资源也显示了类似类型的示例。但是我找不到关于使用shuffle + fletcher32 + gzip/lzf的任何讨论。

我想了解同时使用shuffle和fletcher32的好处(如果有可能/建议)。如果有人可以解释为什么应该这样做或不应该这样做,这将非常有帮助。

资源:

  1. http://docs.h5py.org/en/latest/high/dataset.html#dataset-compression
  2. http://docs.h5py.org/en/latest/high/group.html#Group.create_dataset
  3. Python and HDF5: Book by Andrew Colette - Filters and Compression
  4. This answer to this stackoverflow question

所有可用过滤器的列表:https://portal.hdfgroup.org/display/support/Filters

0 个答案:

没有答案