pandas groupby方法实际上是如何工作的?

时间:2017-07-22 13:42:39

标签: python pandas dataframe

所以我试图理解pandas.dataFrame.groupby()函数,我在文档中遇到了这个例子:

function average(array) {

  return array.reduce(function(a, b) { return a + b; })/ array.length;    
}

不进一步探索我这样做了:

    In [1]: df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar',
   ...:                           'foo', 'bar', 'foo', 'foo'],
   ...:                    'B' : ['one', 'one', 'two', 'three',
   ...:                           'two', 'two', 'one', 'three'],
   ...:                    'C' : np.random.randn(8),
   ...:                    'D' : np.random.randn(8)})
   ...: 

In [2]: df
Out[2]: 
     A      B         C         D
0  foo    one  0.469112 -0.861849
1  bar    one -0.282863 -2.104569
2  foo    two -1.509059 -0.494929
3  bar  three -1.135632  1.071804
4  foo    two  1.212112  0.721555
5  bar    two -0.173215 -0.706771
6  foo    one  0.119209 -1.039575
7  foo  three -1.044236  0.271860

它输出相同的dataFrame,但是当我这样做时:

print(df.groupby('B').head())

它给了我这个:

print(df.groupby('B'))

这是什么意思?在正常的dataFrame打印<pandas.core.groupby.DataFrameGroupBy object at 0x7f65a585b390> 只输出前5行所发生的事情?

为什么打印.head()提供与数据帧相同的输出?不应该按列.head()的元素分组吗?

1 个答案:

答案 0 :(得分:11)

当你只使用

df.groupby('A')

你得到groupby object。你还没有在那时应用任何功能。虽然这个定义可能并不完美,但您可以将groupby对象视为:

  • (group,DataFrame)对的迭代器,用于DataFrames,或
  • 系列的(组,系列)对的迭代器。

举例说明:

df = DataFrame({'A' : [1, 1, 2, 2], 'B' : [1, 2, 3, 4]})
grouped = df.groupby('A')

# each `i` is a tuple of (group, DataFrame)
# so your output here will be a little messy
for i in grouped:
    print(i)
(1,    A  B
0  1  1
1  1  2)
(2,    A  B
2  2  3
3  2  4)

# this version uses multiple counters
# in a single loop.  each `group` is a group, each
# `df` is its corresponding DataFrame
for group, df in grouped:
    print('group of A:', group, '\n')
    print(df, '\n')
group of A: 1 

   A  B
0  1  1
1  1  2 

group of A: 2 

   A  B
2  2  3
3  2  4 

# and if you just wanted to visualize the groups,
# your second counter is a "throwaway"
for group, _ in grouped:
    print('group of A:', group, '\n')
group of A: 1 

group of A: 2 

现在和.head一样。只需查看该方法的docs

  

基本上等同于.apply(lambda x: x.head(n))

所以在这里你实际上将一个函数应用于groupby对象的每个组。请注意,.head(5) 已应用到每个组(每个DataFrame),因为每组有少于或等于5行,您将获得原始DataFrame。

考虑上面的例子。如果您使用.head(1),则只会获得每组的前1行:

print(df.groupby('A').head(1))
   A  B
0  1  1
2  2  3