pandas数据帧中不同的连续块

时间:2015-06-01 08:17:36

标签: python pandas

我有一个像这样的pandas数据框:

 x1=[np.nan, 'a','a','a', np.nan,np.nan,'b','b','c',np.nan,'b','b', np.nan]
 ty1 = pd.DataFrame({'name':x1})

你知道如何获得包含不同连续块的开始和结束索引的元组列表吗?例如,对于上面的数据框,

[(1,3), (6,7), (8,8), (10,11)]. 

1 个答案:

答案 0 :(得分:6)

您可以使用shiftcumsum为每个连续的块创建“ID”:

In [5]: blocks = (ty1 != ty1.shift()).cumsum()

In [6]: blocks
Out[6]:
    name
0      1
1      2
2      2
3      2
4      3
5      4
6      5
7      5
8      6
9      7
10     8
11     8
12     9

您只对那些不是NaN的块感兴趣,因此请对其进行过滤:

In [7]: blocks = blocks[ty1['name'].notnull()]

In [8]: blocks
Out[8]:
    name
1      2
2      2
3      2
6      5
7      5
8      6
10     8
11     8

然后,我们可以获得每个'id'的第一个和最后一个索引:

In [10]: blocks.groupby('name').apply(lambda x: (x.index[0], x.index[-1]))
Out[10]:
name
2      (1, 3)
5      (6, 7)
6      (8, 8)
8    (10, 11)
dtype: object

虽然,如果最后一步是必要的,将取决于你想用它做什么(使用元组作为数据帧中的元素并不是真的推荐)。也许拥有'id'已经足够了。