将Pandas GroupBy输出从Series转换为DataFrame

时间:2012-04-29 16:10:35

标签: python pandas dataframe group-by multi-index

我从这样的输入数据开始

df1 = pandas.DataFrame( { 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } )

打印时显示如下:

   City     Name
0   Seattle    Alice
1   Seattle      Bob
2  Portland  Mallory
3   Seattle  Mallory
4   Seattle      Bob
5  Portland  Mallory

分组很简单:

g1 = df1.groupby( [ "Name", "City"] ).count()

并打印产生GroupBy对象:

                  City  Name
Name    City
Alice   Seattle      1     1
Bob     Seattle      2     2
Mallory Portland     2     2
        Seattle      1     1

但我最终想要的是另一个包含GroupBy对象中所有行的DataFrame对象。换句话说,我希望得到以下结果:

                  City  Name
Name    City
Alice   Seattle      1     1
Bob     Seattle      2     2
Mallory Portland     2     2
Mallory Seattle      1     1

我无法在pandas文档中看到如何实现这一点。任何提示都会受到欢迎。

10 个答案:

答案 0 :(得分:421)

g1此处 是一个DataFrame。它有一个分层索引,但是:

In [19]: type(g1)
Out[19]: pandas.core.frame.DataFrame

In [20]: g1.index
Out[20]: 
MultiIndex([('Alice', 'Seattle'), ('Bob', 'Seattle'), ('Mallory', 'Portland'),
       ('Mallory', 'Seattle')], dtype=object)

也许你想要这样的东西?

In [21]: g1.add_suffix('_Count').reset_index()
Out[21]: 
      Name      City  City_Count  Name_Count
0    Alice   Seattle           1           1
1      Bob   Seattle           2           2
2  Mallory  Portland           2           2
3  Mallory   Seattle           1           1

或类似的东西:

In [36]: DataFrame({'count' : df1.groupby( [ "Name", "City"] ).size()}).reset_index()
Out[36]: 
      Name      City  count
0    Alice   Seattle      1
1      Bob   Seattle      2
2  Mallory  Portland      2
3  Mallory   Seattle      1

答案 1 :(得分:96)

我想略微更改Wes给出的答案,因为版本0.16.2需要as_index=False。如果你没有设置它,你会得到一个空数据帧。

Source

  

as_index=True为默认值时,聚合函数不会返回聚合的组(如果它们是命名列)。分组列将是返回对象的索引。

     

传递as_index=False将返回您聚合的组,如果它们是命名列。

     

聚合函数是减少返回对象维度的函数,例如:meansumsizecountstd,{ {1}},varsemdescribefirstlastnthmin。这就是您执行max并获得DataFrame.sum()时所发生的情况。

     

nth可以充当缩减器或过滤器,请参阅here

Series

编辑:

在版本import pandas as pd df1 = pd.DataFrame({"Name":["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"], "City":["Seattle","Seattle","Portland","Seattle","Seattle","Portland"]}) print df1 # # City Name #0 Seattle Alice #1 Seattle Bob #2 Portland Mallory #3 Seattle Mallory #4 Seattle Bob #5 Portland Mallory # g1 = df1.groupby(["Name", "City"], as_index=False).count() print g1 # # City Name #Name City #Alice Seattle 1 1 #Bob Seattle 2 2 #Mallory Portland 2 2 # Seattle 1 1 # 及更高版本中,您可以使用count中的0.17.1reset_indexsize的参数subset使用name

print df1.groupby(["Name", "City"], as_index=False ).count()
#IndexError: list index out of range

print df1.groupby(["Name", "City"]).count()
#Empty DataFrame
#Columns: []
#Index: [(Alice, Seattle), (Bob, Seattle), (Mallory, Portland), (Mallory, Seattle)]

print df1.groupby(["Name", "City"])[['Name','City']].count()
#                  Name  City
#Name    City                
#Alice   Seattle      1     1
#Bob     Seattle      2     2
#Mallory Portland     2     2
#        Seattle      1     1

print df1.groupby(["Name", "City"]).size().reset_index(name='count')
#      Name      City  count
#0    Alice   Seattle      1
#1      Bob   Seattle      2
#2  Mallory  Portland      2
#3  Mallory   Seattle      1

countsize之间的区别在于size计算NaN值而count没有。

答案 2 :(得分:11)

简单来说,这应该完成任务:

import pandas as pd

grouped_df = df1.groupby( [ "Name", "City"] )

pd.DataFrame(grouped_df.size().reset_index(name = "Group_Count"))

这里,grouped_df.size()提取唯一的groupby计数,reset_index()方法重置你想要的列的名称。 最后,调用pandas Dataframe()函数来创建DataFrame对象。

答案 3 :(得分:6)

也许我误解了这个问题,但是如果你想将groupby转换回数据帧,你可以使用.to_frame()。当我这样做时,我想重置索引,所以我也包括了那部分。

与问题无关的示例代码

df = df['TIME'].groupby(df['Name']).min()
df = df.to_frame()
df = df.reset_index(level=['Name',"TIME"])

答案 4 :(得分:5)

我发现这对我有用。

1 US 04OCT2014 06OCT2014
1 CA 07OCT2014 08OCT2014
1 US 09OCT2014 11OCT2014
2 ES 05OCT2014 06OCT2014 

答案 5 :(得分:3)

我已经汇总了数量明智的数据并存储到数据帧

almo_grp_data = pd.DataFrame({'Qty_cnt' :
almo_slt_models_data.groupby( ['orderDate','Item','State Abv']
          )['Qty'].sum()}).reset_index()

答案 6 :(得分:3)

以下解决方案可能更简单:

df1.reset_index().groupby( [ "Name", "City"],as_index=False ).count()

答案 7 :(得分:3)

关键是使用reset_index()方法。

使用:

import pandas

df1 = pandas.DataFrame( { 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } )

g1 = df1.groupby( [ "Name", "City"] ).count().reset_index()

现在,您在 g1 中有了新的数据框:

result dataframe

答案 8 :(得分:1)

这些解决方案仅对我部分起作用,因为我正在进行多次聚合。这是我要转换为数据框的分组示例输出:

Groupby Output

因为我想要的不仅仅是reset_index()提供的计数,所以我写了一个手动方法将上面的图像转换为数据帧。我知道这不是最复杂的方法,因为它很冗长和明确,但这只是我所需要的。基本上,使用上面说明的reset_index()方法启动“脚手架”数据帧,然后循环浏览分组数据帧中的组配对,检索索引,针对未分组数据帧执行计算,并在新的聚合数据帧中设置值

  File "C:\Users\LUCAS\Desktop\Enjoei.py", line 10
    data={"utf8":"✓", "authenticity_token":get_token, "user[pid]", "user[email]":"example@gmail.com", "user[password]":"123456", "user[remember_me]":"1", "user[unique_token]="})
                                                                 ^
SyntaxError: invalid syntax

如果您不喜欢字典,则可以在for循环中内联应用计算:

import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class ReplaceFirstByLastPattern {

    public static void main(String[] args) {
        System.out.println(swapAByO("aaligatoor"));
    }

    public static String swapAByO(String input){

        //Pattern when a falls before o
        Pattern pattern = Pattern.compile("(a)(.*)(o)");
        Matcher matcher = pattern.matcher(input);
        if(matcher.find()){
            return matcher.replaceAll("$3$2$1");
        }

        //Pattern when o falls before a
        pattern = Pattern.compile("(.*)(o)(.*?)(a)");
        matcher = pattern.matcher(input);
        if(matcher.find()){
            return matcher.replaceAll("$1$4$3$2");
        }

        return input;
    }

答案 9 :(得分:0)

UrlfetchApp.fetchAll()