Question

我在具有多索引的HDFStore中称为'data'的frame_table。在DataFrame中，它可能看起来像这样

                      var1   var2  var3  var4  var5  var6
x_coor y_coor date                                        
928    310    2006257   133  14987  7045    18   240   171
              2006273   136      0  7327    30   253   161
              2006289   125      0  -239    83   217   168
              2006305    95  14604  6786    13   215    57
              2006321    84      0  4548    13   133    88

但是现在我想在右侧添加一个范围（从1开始）。我的计划： 1.使用范围创建新节点 2.将两个节点连接到新节点

我做了什么，首先创建一个新节点（存储为DataFrame），然后在重置列时连接

store['rindex'] = pd.DataFrame(pd.Series(xrange(1,
                  len(store.root.all_data.table)+1)))
store['rall']=pd.concat([store['all_data'].reset_index(),
              store['rindex'].reset_index()],ignore_index=True,axis=1)

但是现在两个索引都是我数据的一部分（在第0,1,2,10列中）：

 0   1     2     3    5    6    7  8   9  10 11
928 310 2006257 133 14987 7045 18 240 171 0   1
928 310 2006273 136     0 7327 30 253 161 1   2
928 310 2006289 125     0 -239 83 217 168 2   3
928 310 2006305 95  14604 6786 13 215 57  3   4
928 310 2006321 84      0 4548 13 133 88  4   5

<class 'pandas.core.frame.DataFrame'>
Int64Index: 203 entries, 0 to 202
Data columns (total 11 columns):
0     203  non-null values
1     203  non-null values
2     203  non-null values
3     203  non-null values
4     203  non-null values
5     203  non-null values
6     203  non-null values
7     203  non-null values
8     203  non-null values
9     203  non-null values
10    203  non-null values
dtypes: int32(7), int64(4)

我使用this尝试了以下操作，但这会导致空虚：

>>> store['selection'] = store.select('all_data', [pd.Term('index', '>', '0')])
>>> store['selection'].reindex(columns = ['3','4','5','6','7','8','10'])
<class 'pandas.core.frame.DataFrame'>
Int64Index: 203 entries, 0 to 202
Data columns (total 7 columns):
3     0  non-null values
4     0  non-null values
5     0  non-null values
6     0  non-null values
7     0  non-null values
8     0  non-null values
10    0  non-null values
dtypes: float64(7)

那么如何在不清空值的情况下选择这些列呢？

Answer 1

原始图片

In [19]: df2
Out[19]: 
                     var1   var2  var3  var4  var5  var6
x_cor y_cor date                                        
928   310   2006257   133  14987  7045    18   240   171
            2006273   136      0  7327    30   253   161
            2006289   125      0  -239    83   217   168
            2006305    95  14604  6786    13   215    57
            2006321    84      0  4548    13   133    88

reset_index和set_index可反转到原始帧

In [20]: df2.reset_index()
Out[20]: 
   x_cor  y_cor     date  var1   var2  var3  var4  var5  var6
0    928    310  2006257   133  14987  7045    18   240   171
1    928    310  2006273   136      0  7327    30   253   161
2    928    310  2006289   125      0  -239    83   217   168
3    928    310  2006305    95  14604  6786    13   215    57
4    928    310  2006321    84      0  4548    13   133    88

In [21]: df2.reset_index().set_index(['x_cor','y_cor','date'])
Out[21]: 
                     var1   var2  var3  var4  var5  var6
x_cor y_cor date                                        
928   310   2006257   133  14987  7045    18   240   171
            2006273   136      0  7327    30   253   161
            2006289   125      0  -239    83   217   168
            2006305    95  14604  6786    13   215    57
            2006321    84      0  4548    13   133    88

为列编号

In [23]: df2['range'] = range(len(df2))

In [24]: df2
Out[24]: 
                     var1   var2  var3  var4  var5  var6  range
x_cor y_cor date                                               
928   310   2006257   133  14987  7045    18   240   171      0
            2006273   136      0  7327    30   253   161      1
            2006289   125      0  -239    83   217   168      2
            2006305    95  14604  6786    13   215    57      3
            2006321    84      0  4548    13   133    88      4

您需要使用索引集存储多索引帧（否则它只是常规的索引框架）。

您的重建索引步骤不会执行任何操作，而是按字符串重新编制索引，而不是数字（例如'1'，'2'与1,2不相同）

您的数据真的很大吗？为什么你不只是从商店读取框架，修改在内存中，然后将其写回（到原始位置或新位置）。

您正在讨论的策略实际上只创建了一个索引列存储感觉如果你有很多数据。

如何在HDFStore中从帧中选择列

1 个答案: