Question

我将所有数据都放入了HDFStore（是的！），但如何将其从中获取...

我在我的HDFStore中保存了6个DataFrames作为frame_table。这些表中的每一个都如下所示，但长度不同（日期是朱利安日期）。

>>> a = store.select('var1')
>>> a.head()
                      var1
x_coor y_coor date         
928    310    2006257   133
932    400    2006257   236
939    311    2006257   253
941    312    2006257   152
942    283    2006257    68

然后我从所有表格中选择日期所在的值，例如＆gt; 2006256.

>>> b = store.select_as_multiple(['var1','var2','var3','var4','var5','var6'], where=(pd.Term('date','>',date)), selector= 'var1')
>>> b.head()
                      var1   var2  var3  var4  var5  var6
x_coor y_coor date                                        
928    310    2006257   133  14987  7045    18   240   171
              2006273   136      0  7327    30   253   161
              2006289   125      0  -239    83   217   168
              2006305    95  14604  6786    13   215    57
              2006321    84      0  4548    13   133    88

这可行，但仅适用于相对较小的.h5文件。因此，对于我的普通.h5文件，我想使用chunksize将其临时存储在HDFStore中（因为我还要根据此选择添加新列）。我这样想（使用this）：

for df in store.select_as_multiple(['var1','var2','var3','var4','var5','var6'], where=(pd.Term('date','>',date)), selector= 'var1', chunksize=15):
    tempstore.put('test',pd.DataFrame(df))

但是只有一个块被添加到商店。但是：

tempstore.append('test',pd.DataFrame(df))

我得到ValueError：只能附加到Tables。我做错了什么？

Answer 1

当您尝试使用put执行此操作时，它会覆盖商店（使用最新的块），然后在追加时出现错误（因为您无法附加到商店/非表）

那是：

put写一个不可附加的固定格式（称为storer），编写起来很快，但是你不能追加，也不能查询（只能完全得到它））。
append创建table格式，这就是您想要的格式（以及frame_table是什么）。

注意：您不需要执行pd.DataFrame(df)因为df已经是一个框架。

所以，首先执行此操作（删除商店），如果它在那里：

if 'test' in tempstore:
    tempstore.remove('test')

然后附加每个DataFrame：

for df in store.select_as_multiple(.....):
     tempstore.append('test', df)

使用chunksize保存到新的HDFStore中迭代HDFStore

1 个答案: