pandas HDFStore按日期时间索引选择行

时间:2014-04-24 15:46:58

标签: pandas pytables

我确定这可能非常简单,但我无法弄清楚如何通过其日期时间索引对pandas HDFStore表进行切片以获得特定的行范围。

我有一个看起来像这样的表:

mdstore = pd.HDFStore(store.h5)
histTable = '/ES_USD20120615_MIDPOINT30s'
print(mdstore[histTable])
                         open      high       low     close  volume  WAP  \
date                                                                       
2011-12-04 23:00:00  1266.000  1266.000  1266.000  1266.000      -1   -1   
2011-12-04 23:00:30  1266.000  1272.375  1240.625  1240.875      -1   -1   
2011-12-04 23:01:00  1240.875  1242.250  1240.500  1242.125      -1   -1   
                   ...
[488000 rows x 7 columns]

例如,我希望从2012-01-11 23:00:00到2012-01-12 22:30:00获取范围。如果是在df中,我只会使用日期时间来对索引进行切片,但是我无法直接从商店表中找出如何做到这一点,所以我不必将整个内容加载到内存中。 我尝试了mdstore.select(histTable, where='index>20120111')并且在11日和12日获得了所有内容,但我无法看到如何增加时间。

1 个答案:

答案 0 :(得分:6)

示例是here 需要pandas> = 0.13.0

In [2]: df = DataFrame(np.random.randn(5),index=date_range('20130101 09:00:00',periods=5,freq='s'))

In [3]: df
Out[3]: 
                            0
2013-01-01 09:00:00 -0.110577
2013-01-01 09:00:01 -0.420989
2013-01-01 09:00:02  0.656626
2013-01-01 09:00:03 -0.350615
2013-01-01 09:00:04 -0.830469

[5 rows x 1 columns]

In [4]: df.to_hdf('test.h5','data',mode='w',format='table')

将其指定为带引号的字符串

In [8]: pd.read_hdf('test.h5','data',where='index>"20130101 09:00:01" & index<"20130101 09:00:04"')
Out[8]: 
                            0
2013-01-01 09:00:02  0.656626
2013-01-01 09:00:03 -0.350615

[2 rows x 1 columns]

您也可以直接将其指定为时间戳

In [10]: pd.read_hdf('test.h5','data',where='index>Timestamp("20130101 09:00:01") & index<Timestamp("20130101 09:00:04")')
Out[10]: 
                            0
2013-01-01 09:00:02  0.656626
2013-01-01 09:00:03 -0.350615

[2 rows x 1 columns]