我正在尝试使用h5py以HDF5格式写入数据集。 create_dataset()
方法具有选择压缩类型和过滤器的选项。到目前为止,我找不到任何资源来了解shuffle = True
和fletcher32 = True
是否可以与compression = 'lzf'
或'gzip'
一起使用。
f = h5py.open("my_hdf_file.h5", "w")
dset = f.create_dataset("zipped_dataset", shape=(778, 181, 128, 128),
chunks = True,
compression="gzip",
compression_opts=9,
shuffle = True)
f.close()
我知道上面的代码还可以,并且有书籍和网络资源也显示了类似类型的示例。但是我找不到关于使用shuffle + fletcher32 + gzip/lzf
的任何讨论。
我想了解同时使用shuffle和fletcher32的好处(如果有可能/建议)。如果有人可以解释为什么应该这样做或不应该这样做,这将非常有帮助。
资源:
所有可用过滤器的列表:https://portal.hdfgroup.org/display/support/Filters