Question

我有一个包含0和1的熊猫系列：

df1 = pd.Series([ 0, 0, 0, 0, 0, 1, 1, 1, 0, 0, 0])
df1
Out[3]: 
0         0
1         0
2         0
3         0
4         0
5         1
6         1
7         1
8         0
9         0
10        0

我想创建一个数据帧df2，其中包含具有相同值的间隔的开始和结束，以及相关的值...在这种情况下，df2应该是......

df2
Out[5]: 
   Start     End  Value
0      0  4         0
1      5  7         1
2      8  10        0

我的尝试是：

from operator import itemgetter
from itertools import groupby

a=[next(group) for key, group in groupby(enumerate(df1), key=itemgetter(1))]   
df2 = pd.DataFrame(a,columns=['Start','Value'])

但我不知道怎样才能获得“结束”。的indeces

Answer 1

您可以使用pd.Series.diff()方法来识别起始索引：

df2 = pd.DataFrame()
df2['Start'] = df1[df1.diff().fillna(1) != 0].index

然后从中计算结束索引：

df2['End'] = [e - 1 for e in df2['Start'][1:]] + [df1.index.max()]

最后收集相关的值：

df2['Value'] = df1[df2['Start']].values

输出中

   Start  End  Value
0      0    4      0
1      5    7      1
2      8   10      0

Answer 2

您正在寻找的是get first and last values in a groupby

import pandas as pd

def first_last(df):
    return df.ix[[0,-1]]

df = pd.DataFrame([3]*4+[4]*4+[1]*4+[3]*3,columns=['value'])
print df
df['block'] = (df.value.shift(1) != df.value).astype(int).cumsum()
df = df.reset_index().groupby(['block','value'])['index'].agg(['first', 'last']).reset_index()
del df['block']
print df

Answer 3

您可以使用shift和cumsum进行分组，找到第一个和最后一个有效索引

df2 = df1.groupby((df1 != df1.shift()).cumsum()).apply(lambda x: np.ravel([x.index[0], x.index[-1], x.unique()]))
df2 = pd.DataFrame(df2.values.tolist()).rename(columns = {0: 'Start', 1: 'End',2:'Value'})

你得到了

    Start   End     Value
0   0       4       0
1   5       7       1
2   8       10      0

Answer 4

Series groupby cumsum由shift Series df1 apply创建unstack。

然后agg custum函数和最后一次重塑https://support.google.com/mail/answer/7126229?visit_id=1-636342470835359266-2568809045&rd=1#cantsignin。

s = df1.ne(df1.shift()).cumsum()
df2 = df1.groupby(s).apply(lambda x: pd.Series([x.index[0], x.index[-1], x.iat[0]], 
                                                index=['Start','End','Value']))
                   .unstack().reset_index(drop=True)
print (df2)
   Start  End  Value
0      0    4      0
1      5    7      1
2      8   10      0

{{3}}与first和last进行汇总的另一种解决方案，但是需要更多代码来处理所需输出的输出。

s = df1.ne(df1.shift()).cumsum()
d = {'first':'Start','last':'End'}
df2 = df1.reset_index(name='Value') \
         .groupby([s, 'Value'])['index'] \
         .agg(['first','last'])  \
         .reset_index(level=0, drop=True) \
         .reset_index() \
         .rename(columns=d) \
         .reindex_axis(['Start','End','Value'], axis=1)
print (df2)
   Start  End  Value
0      0    4      0
1      5    7      1
2      8   10      0

按间隔分组值

4 个答案: