根据列值拆分数据框

时间:2015-11-28 14:15:57

标签: python numpy pandas

我有一个像这样的数据框

 EndDate
2007-10-31              0
2007-11-30    -0.03384464
2007-12-31     -0.0336299
2008-01-31   -0.009448923
2008-02-29              0
2008-03-31    -0.05744962
2008-04-30     -0.0386942
2008-05-31              0
2008-06-30    -0.03624518
2008-07-31   -0.005286455
2008-08-31              0
2008-09-30     -0.1619864
2008-10-31     -0.2862122
2008-11-30     -0.2942793
2008-12-31     -0.2913253

现在我想在每次出现0之后拆分数据帧。 因此,新数据框应如下所示:

Dataframe 1: 
    2007-11-30    -0.03384464
    2007-12-31     -0.0336299
    2008-01-31   -0.009448923
    2008-02-29              0

Dataframe 2:
    2008-03-31    -0.05744962
    2008-04-30     -0.0386942
    2008-05-31              0

Dataframe 3:
    2008-06-30    -0.03624518
    2008-07-31   -0.005286455
    2008-08-31              0

Dataframe 4:
    2008-09-30     -0.1619864
    2008-10-31     -0.2862122
    2008-11-30     -0.2942793
    2008-12-31     -0.2913253

我不确定如何做到这一点。 我可以迭代每一行寻找0,但我认为应该有更好的方法。

2 个答案:

答案 0 :(得分:2)

首先,您可以通过将值列比较为零来创建组编号,然后获取这些布尔值的累积总和。

df['group_no'] = (df.val == 0).cumsum()
>>> df.head(6)
      EndDate       val  group_no
0  2007-10-31  0.000000         1
1  2007-11-30 -0.033845         1
2  2007-12-31 -0.033630         1
3  2008-01-31 -0.009449         1
4  2008-02-29  0.000000         2
5  2008-03-31 -0.057450         2

接下来,您可以将字典理解与loc一起使用,以选择相关的group_no数据框。要获取最后一个组号,我使用iat获取最后一个值,用于基于位置的索引。

d = {i: df.loc[df.group_no == i, ['EndDate', 'val']] 
     for i in range(1, df.group_no.iat[-1])}

>>> d
{1:       EndDate       val
 0  2007-10-31  0.000000
 1  2007-11-30 -0.033845
 2  2007-12-31 -0.033630
 3  2008-01-31 -0.009449, 
 2:       EndDate       val
 4  2008-02-29  0.000000
 5  2008-03-31 -0.057450
 6  2008-04-30 -0.038694, 
 3:       EndDate       val
 7  2008-05-31  0.000000
 8  2008-06-30 -0.036245
 9  2008-07-31 -0.005286}

修改 正如@DSM所建议的那样,基于具有15k行的样本数据帧,使用groupby的速度似乎要快6倍。

d = {n: df2.ix[rows] 
     for n, rows in enumerate(df2.groupby('group_no').groups)}

答案 1 :(得分:0)

亚历山大的解决方案并没有奏效。有一个小错误。代码应该是:

d = {n: df2.iloc[rows] 
 for n, rows in df2.groupby('group_no').groups.items()}