分块1-D数据集的任何一点

Question

我是HDF5世界的新手。我的数据由一系列一维数据集组成。我的应用程序需要一次读取一个数据集，当它读取数据集时，它需要完整地读取数据集。

我对HDF5分块有基本的了解：在磁盘上连续布局一个块，并在一次读取操作中获取。

我看到当你有一个多维数组并且你需要经常访问不连续的项时，分块将如何有用。另一方面，在我的情况下，我没有看到分块是有用的：数据集是一维的，并且将始终完整地读取。

我的分析是否正确？如果没有，请帮助我了解分块将如何帮助我的事业。

Answer 1

Chunking允许您处理太大而无法放入内存的文件，因此需要以块的形式处理它们。这不是HDF特有的。 HDF为您提供的是一种开源透明二进制格式的存储功能，它具有一些很好的功能，如元数据等。如果您可以立即将文件读入内存并且对存储文件的其他方式不感兴趣，那么我会没有看到使用HDF的必要性。但是，如果您想在一个文件中以类似文件的方式存储类似文件和可能的相关结果以改善工作流程，或者如果您有文件需要以块的形式处理，因为它们不能同时适合内存，那么HDF可能正是你想要的。