有没有一种方法可以将指定的表快速提取到另一个HDF5文件中？

Question

我要解决的问题如下-我运行了一个长时间运行的Python（可能需要花费几个小时才能完成）的进程，该进程最多可以生成80000个HDF5文件。由于瓶颈之一是不断打开和关闭这些文件，因此我决定编写一个概念验证代码，该代码使用单个HDF5文件作为包含许多表的输出。当然可以，但是我想知道是否存在将指定表（如果可能的话重命名）导出到单独文件中的快速方法？

Answer 1

是的，至少有3种方法可以将数据集的内容从一个HDF5文件复制到另一个。其中包括：

HDF组中的
1. h5copy命令行实用程序。您可以指定源和目标HDF5文件，以及源和目标对象。可能无需编写大量代码即可完全满足您的要求。
   参考：HDF Group: H5Copy docs
2. h5py 模块具有用于组和/或数据集的copy()方法。您输入源对象和目标对象。
3. pytables 模块（又称表格）具有copy_node()方法。节点是组和/或数据集。您输入源对象和目标对象。

如果您选择使用h5py，则SO上有几个相关的帖子：

• How to copy a partial or skeleton h5py file
• How to partially copy using python an Hdf5 file into a new one keeping the same structure?