Question

我有来自csv的数据，它有几千列和一万（左右）行。在每列中，数据具有相同的类型，但不同的列具有不同类型的数据*。以前我一直在从numpy中搜索数据并存储在磁盘上，但它很慢，特别是因为我通常想要加载一些列的子集而不是所有列。

我想使用pytables将数据放入hdf5，我的第一种方法是将数据放在一个表中，每个csv列有一个hdf5列。不幸的是，这不起作用，我假设因为512（软）列限制。

存储此数据的明智方法是什么？

*我的意思是，从文本转换后的数据类型。

Answer 1

事实上，这可能不会以天真的方式进行。 HDF5为每个数据集的元数据分配64 kb的空间。该元数据包括列的类型。因此，虽然列数是一个软限制，但在2-3万个范围内，您通常会用尽空间来存储元数据（取决于列名的长度等）。

此外，numpy不会将列数限制为32？你现在如何用numpy代表数据？你可以进入一个numpy数组的东西应该对应一个pytables数组类。

Answer 2

没有pytables，而是使用h5py，这可能有效：

data = np.recfromcsv(args[0], delimiter=',',
                     case_sensitive=True, deletechars='', replace_space=' ')
with h5py.File(args[1], 'w') as h5file:
    h5file.create_dataset('table', data=data)

我从this answer借了第一行;不确定这是否适合你。 HDF 5表看起来很好（从hdfview快速查看）;当然，我不知道你是否可以将它用于pytables和熊猫。

Answer 3

也许您可以在不降低性能的情况下增加列数。请参阅：http://www.pytables.org/docs/manual-2.2.1/apc.html

C.1.1。建议的最大值

MAX_COLUMNS

Maximum number of columns in Table objects before a PerformanceWarning is issued. This limit is somewhat arbitrary and can be increased.

如果你想要这条路线，只需找到pytables目录中的parameters.py文件并更改MAX_COLUMNS值。

Answer 4

你应该能够使用pandas数据帧它可以保存到磁盘而无需转换为csv

Answer 5

恕我直言，这取决于您之后想要对数据做什么，以及您一次需要多少。我不得不在不久前建立一个统计验证程序，我们有两种方法：

将列拆分为单独的表（例如，使用FK）。加载它们的开销不是太高
转置表格，产生类似键值存储的内容，其中键是（列，行）的元组

我们都使用了postgres。

如何在pytables / hdf5中存储宽表

5 个答案: