Question

假设我有一个像这样的列表的Python dict：

{'Grp': ['2'   , '6'   , '6'   , '5'   , '5'   , '6'   , '6'   , '7'   , '7'   , '6'], 
'Nums': ['6.20', '6.30', '6.80', '6.45', '6.55', '6.35', '6.37', '6.36', '6.78', '6.33']}

我可以使用itertools.groupby轻松地对数字和组密钥进行分组：

from itertools import groupby
for k, l in groupby(zip(di['Grp'], di['Nums']), key=lambda t: t[0]):
    print k, [t[1] for t in l]

打印：

2 ['6.20']
6 ['6.30', '6.80']      # one field, key=6
5 ['6.45', '6.55']
6 ['6.35', '6.37']      # second
7 ['6.36', '6.78']
6 ['6.33']              # third

请注意，6键分为三个单独的组或字段。

现在假设我有一个与我的dict相同的Pandas DataFrame（相同的数据，相同的列表顺序和相同的键）：

  Grp  Nums
0   2  6.20
1   6  6.30
2   6  6.80
3   5  6.45
4   5  6.55
5   6  6.35
6   6  6.37
7   7  6.36
8   7  6.78
9   6  6.33

如果我使用Pandas'groupby我没有看到如何逐组迭代。相反，Pandas按键值分组：

for e in df.groupby('Grp'):
    print e

打印：

('2',   Grp  Nums
0   2  6.20)
('5',   Grp  Nums
3   5  6.45
4   5  6.55)
('6',   Grp  Nums
1   6  6.30            
2   6  6.80                # df['Grp'][1:2] first field
5   6  6.35                # df['Grp'][5:6] second field
6   6  6.37                 
9   6  6.33)               # df['Grp'][9] third field
('7',   Grp  Nums
7   7  6.36
8   7  6.78)

注意6组密钥是捆在一起的;不是单独的团体。

我的问题：是否有相同的方法来使用Pandas的groupby，例如，6将以与Python的groupby相同的方式分为三组？

我试过了：

>>> df.reset_index().groupby('Grp')['index'].apply(lambda x: np.array(x))
Grp
2                [0]
5             [3, 4]
6    [1, 2, 5, 6, 9]         # I *could* do a second groupby on this...
7             [7, 8]
Name: index, dtype: object

但它仍然按整体Grp键分组，我需要在nd.array上进行第二次分组，以将每个键的子组拆分出来。

Answer 1

首先，您可以确定Grp列中哪些元素与之前的元素不同，并获得累积金额以形成您需要的群组：

In [9]:
    diff_to_previous = df.Grp != df.Grp.shift(1)
    diff_to_previous.cumsum()
Out[9]:

0    1
1    2
2    2
3    3
4    3
5    4
6    4
7    5
8    5
9    6

所以你可以这样做

df.groupby(diff_to_previous.cumsum())

获取所需的groupby对象

Answer 2

好吧，不要厚颜无耻，但为什么不使用iterrows在DataFrame上使用Python的groupby呢？这就是它的目的：

>>> df
  Grp  Nums
0   2  6.20
1   6  6.30
2   6  6.80
3   5  6.45
4   5  6.55
5   6  6.35
6   6  6.37
7   7  6.36
8   7  6.78
9   6  6.33

>>> from itertools import groupby
>>> for k, l in groupby(df.iterrows(), key=lambda row: row[1]['Grp']):
        print k, [t[1]['Nums'] for t in l]

打印：

2 ['6.20']
6 ['6.30', '6.80']
5 ['6.45', '6.55']
6 ['6.35', '6.37']
7 ['6.36', '6.78']
6 ['6.33']

尝试以你想要的方式制作Panda的groupby行为可能会要求提供如此多的叠加方法，以便在将来重读时无法遵循它。

Answer 3

您基本上想要创建一个新列来索引所需的分组顺序，然后将其用于分组。保持索引号相同，直到Grp中的值发生变化。

对于您的数据，您可能需要以下内容：

   Grp  Nums new_group
0    2  6.20         1
1    6  6.30         2
2    6  6.80         2
3    5  6.45         3
4    5  6.55         3
5    6  6.35         4
6    6  6.37         4
7    7  6.36         5
8    7  6.78         5
9    6  6.33         6

您现在可以在new group和Grp上分组：

df.groupby(['new_group', 'Grp']).Nums.groups
{(1, 2): [0],
 (2, 6): [1, 2],
 (3, 5): [3, 4],
 (4, 6): [5, 6],
 (5, 7): [7, 8],
 (6, 6): [9]

我使用此方法创建新列：

df['new_group'] = None
for n, grp in enumerate(df.Grp):
if n is 0:
    df.new_group.iat[0] = 1    
elif grp == df.Grp.iat[n - 1]:
    df.new_group.iat[n] = df.new_group.iat[n - 1]
else:
    df.new_group.iat[n] = df.new_group.iat[n - 1] + 1

请注意，这个答案here有相同的想法（感谢链接的@ajcr），但是更简洁的表示：

>>> df.groupby((df.Grp != df.Grp.shift()).cumsum()).Nums.groups
{1: [0], 2: [1, 2], 3: [3, 4], 4: [5, 6], 5: [7, 8], 6: [9]

让Pandas groupby与itertools groupby类似

3 个答案: