如何使用修改后的索引来转动pandas数据框？

Question

我有一个时间序列数据框：

rng = pd.date_range('1/1/2013', periods=1000, freq='10min')
ts = pd.Series(np.random.randn(len(rng)), index=rng)
ts = ts.to_frame(name=None)

我需要做两件事：

步骤1：修改索引，以便每天从前一天的17:00:00开始。我是这样做的：

ts.index = pd.to_datetime(ts.index.values + np.where((ts.index.time >= datetime.time(17)), pd.offsets.Day(1).nanos, 0))

第2步：转动数据框，如下所示：

ts_ = pd.pivot_table(ts, index=ts.index.date, columns=ts.index.time, values=0)

我遇到的问题是，在转动数据帧时，pandas似乎忘记了对步骤1中索引I的修改。

这就是我得到的

             00:00:00    00:10:00    00:20:00   ...  23:50:00
2013-01-10  -1.800381   -0.459226   -0.172929   ... -1.000381
2013-01-11  -1.258317   -0.973924    0.955224   ...  0.072929
2013-01-12  -0.834976    0.018793   -0.141608   ...  2.072929
2013-01-13  -0.131197    0.289998    2.200644   ...  1.589998
2013-01-14  -0.991653    0.276874   -1.390654   ... -2.090654

相反，这是理想的结果

             17:00:00    17:10:00    17:20:00   ...  16:50:00
2013-01-10  -2.800381    1.000226    2.172929   ...  0.172929
2013-01-11   0.312587    1.003924    2.556624   ... -0.556624
2013-01-12   2.976834    1.000003   -2.141608   ... -1.141608
2013-01-13   1.197131    1.333998   -2.999944   ... -1.999944
2013-01-14  -1.653991    1.278884   -1.390654   ... -4.390654

编辑 - 澄清注意：请注意每天在＆＃39; 00:00和＃39;结束于＆＃39; 16：50：00＆＃39;。

使用Python 2.7

注意： Nickil Maveli提出的解决方案能够解决问题，但是错误地改变了日期。想法是Day_t =在Day_t-1开始于17:00＆＃39;。现在，解决方案正在Day_t =在Day_t开始，在17：00＆＃39;。

Answer 1

你真的不需要在这里使用np.where，因为你只是对1个参数进行过滤。此外，else部分为0.因此，在此步骤之后获得的索引绝对没有减少。

相反，你必须这样做：

1.建立一个布尔掩码，以过滤hour属性大于或等于17的日期时间，并添加一天的偏移量：

arr = ts.index
idx = arr[arr.hour >= 17] + pd.offsets.Day(1)

2.Reindex基于修改后的索引：

ts_clip = ts.reindex(idx)

3.执行pivot操作：

pd.pivot_table(ts_clip, index=ts_clip.index.date, columns=ts_clip.index.time, values=0)

<强> 修改

ts_clip = ts.iloc[np.argwhere(ts.index.hour.__eq__(17)).ravel()[0]:]
ts_clip_shift = ts_clip.tshift(-17, freq='H')
df = pd.pivot_table(ts_clip_shift, index=(ts_clip_shift.index + pd.offsets.Day(n=1)), 
                    columns=ts_clip_shift.index.time, values=0)
df.columns= ts_clip.iloc[:len(df.columns)].index.time

检查DF特征：

df.info()
<class 'pandas.core.frame.DataFrame'>
Index: 7 entries, 2013-01-02 to 2013-01-08
Columns: 144 entries, 17:00:00 to 16:50:00
dtypes: float64(144)
memory usage: 7.9+ KB

Answer 2

所以我需要画一些图片，所以here是：

# Step 1:

df1 = df.ix[:,         :'16:59'] # http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.ix.html
df2 = df.ix[:, '17:00' :       ]

# Step 2:

df3 = df2.shift(periods = 1) # http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.shift.html

# Step 3: 

df4 = pandas.concat([df3, df1], axis = 1) # http://pandas.pydata.org/pandas-docs/stable/generated/pandas.concat.html